Авторы поделились опытом развертывания инфраструктуры для обучения языковой модели с 70 млрд параметров, превзошедшей GPT-4. Для обеспечения стабильности они автоматизировали перезапуск упавших обучений, отключение неисправных машин и компоненты сети, а также мониторинг метрик производительности и здоровья кластера. Глубокое понимание системы на всех уровнях абстракции и автоматизация критически важных для обучения больших моделей.
https://imbue.com/research/70b-infrastructure/
https://imbue.com/research/70b-infrastructure/
Imbue
From bare metal to a 70B model: infrastructure set-up and scripts
We would like to thank Voltage Park, Dell, H5, and NVIDIA for their invaluable partnership and help with setting up our cluster. A special…
На волне новостей про блокировки
tubearchivist позволяет сохранить видео с известного видеохостинга
Зачем?
- Видео могут удалить с хостинга(злые политики или сами авторы), а оно уже сохранено локально
- можно индексировать видео и искать по словам
- если не хотите показывать детям всякое плохое, но на видеохостинге есть то, что им полезно
#tubearchivist #youtube
tubearchivist позволяет сохранить видео с известного видеохостинга
Зачем?
- Видео могут удалить с хостинга(злые политики или сами авторы), а оно уже сохранено локально
- можно индексировать видео и искать по словам
- если не хотите показывать детям всякое плохое, но на видеохостинге есть то, что им полезно
#tubearchivist #youtube
GitHub
GitHub - tubearchivist/tubearchivist: Your self hosted YouTube media server
Your self hosted YouTube media server. Contribute to tubearchivist/tubearchivist development by creating an account on GitHub.
Forwarded from Security Wine (бывший - DevSecOps Wine) (Rustam Guseynov)
2024 AppSec and DevSecOps Keynotes
На рубеже второй половины года мы решили подготовить подборку записей с известных конференций по безопасности, которых стало уже достаточно много. Каждая ссылка ведет на видеозаписи докладов 2024 года. В этом году на всех конференциях наблюдается значительный уклон в сторону безопасности AI и его применения в сфере безопасности на фоне стремительного развития этого направления.
RSA Conference 2024 - одна из крупнейших в мире конференций по ИБ, проводится ежегодно в Сан-Франциско. 300 докладов, включая, конечно же, AppSec и DevSecOps. Чтобы облегчить поиск наиболее релевантных докладов, в чате будут опубликованы ссылки на самые интересные выступления.
BSidesSF 2024. Вторая по известности конференция по безопасности. Совсем немного докладов про AppSec, но кое-что также в разрезе применения AI присутствует.
fwd:cloudsec 2024. Набирающая популярность конференция по безопасности облаков для тех, кому это актуально.
Cloud Native Security Con 2024. Конференция от CNCF охватывает в этом году не только темы безопасности контейнеров и контейнерных сред, но и также безопасность AI/ML, CVE, SBOMы.
phd2 2024. Та самая конференция в России, которая не нуждается в представлении. Кроме отдельного трека по безопасности разработки, есть треки, где так или иначе затрагивается тема AppSec, например, в контексте экономической эффективности.
Также очень ждем доклады от организаторов БеКон 2024 - конференции по безопасности контейнеров и контейнерных сред. Записей пока нет, но есть слайды.
Если вы знаете какие-то конференции релевантные к каналу с доступными записями, присылайте в чат!
#talks
На рубеже второй половины года мы решили подготовить подборку записей с известных конференций по безопасности, которых стало уже достаточно много. Каждая ссылка ведет на видеозаписи докладов 2024 года. В этом году на всех конференциях наблюдается значительный уклон в сторону безопасности AI и его применения в сфере безопасности на фоне стремительного развития этого направления.
RSA Conference 2024 - одна из крупнейших в мире конференций по ИБ, проводится ежегодно в Сан-Франциско. 300 докладов, включая, конечно же, AppSec и DevSecOps. Чтобы облегчить поиск наиболее релевантных докладов, в чате будут опубликованы ссылки на самые интересные выступления.
BSidesSF 2024. Вторая по известности конференция по безопасности. Совсем немного докладов про AppSec, но кое-что также в разрезе применения AI присутствует.
fwd:cloudsec 2024. Набирающая популярность конференция по безопасности облаков для тех, кому это актуально.
Cloud Native Security Con 2024. Конференция от CNCF охватывает в этом году не только темы безопасности контейнеров и контейнерных сред, но и также безопасность AI/ML, CVE, SBOMы.
phd2 2024. Та самая конференция в России, которая не нуждается в представлении. Кроме отдельного трека по безопасности разработки, есть треки, где так или иначе затрагивается тема AppSec, например, в контексте экономической эффективности.
Также очень ждем доклады от организаторов БеКон 2024 - конференции по безопасности контейнеров и контейнерных сред. Записей пока нет, но есть слайды.
Если вы знаете какие-то конференции релевантные к каналу с доступными записями, присылайте в чат!
#talks
YouTube
RSAC 2024 Track Sessions
Share your videos with friends, family, and the world
Пошаговый процесс создания и запуска фишинговой кампании с целью тестирования и улучшения безопасности организации.
https://blog.onsec.io/from-zero-to-hero-phishing-campaign/
https://blog.onsec.io/from-zero-to-hero-phishing-campaign-part-2/
https://blog.onsec.io/from-zero-to-hero-phishing-company-final/
#phishing #security
https://blog.onsec.io/from-zero-to-hero-phishing-campaign/
https://blog.onsec.io/from-zero-to-hero-phishing-campaign-part-2/
https://blog.onsec.io/from-zero-to-hero-phishing-company-final/
#phishing #security
ONSEC.io
From Zero to Hero: Phishing Campaign. Part 1
Chapter 0: Introduction
Warning: This material is provided for informational purposes only. Only repeat these actions in practice with proper authorization and agreement! The author is not responsible for the consequences of applying the information obtained…
Warning: This material is provided for informational purposes only. Only repeat these actions in practice with proper authorization and agreement! The author is not responsible for the consequences of applying the information obtained…
Тут выложили PoC запуска Amnezia VPN в RouterOS из контейнера.
А сам контейнер не выложили. Но я вам собрал, пользуйтесь на здоровье!
Инструкция по запуску в Mikrotik
Скачать контейнер
#mikrotik #Routeros #VPN #amnezia
А сам контейнер не выложили. Но я вам собрал, пользуйтесь на здоровье!
Инструкция по запуску в Mikrotik
Скачать контейнер
docker pull bubnovd/amnezia-wg:0.2.12-arm64
#mikrotik #Routeros #VPN #amnezia
GitHub
GitHub - yury-sannikov/amnezia-wg-docker: An amnezia-wg Docker builds
An amnezia-wg Docker builds. Contribute to yury-sannikov/amnezia-wg-docker development by creating an account on GitHub.
Forwarded from Artem Navoiev
всем привет пора сделать анонос потому что оно готово
мы сделали VictoriaLogs стоадж для хранения логов и основная цель будет сбор логов у к8s
на данный момент продукт уже готов и отлично себя показывает (ресурсов не жрет, жмет очень сильно)
https://docs.victoriametrics.com/victorialogs/
из фичей - куча протокол для поддержки (включая сислог нативный, промтеил (и все вариации этого имени), еслистика, примеры как присать через стандартные лош шиперы)
есть виализация в графае и свой UI + qiery langues, который позволяет впринципе делать с логами все что вы хотите (фильтрация аналитика slide/dice)
планиурем выпустить кластер и официально заявить что все продаклен реди к kubecon na
роадмап тут - https://docs.victoriametrics.com/victorialogs/roadmap/
из важного что будет - кластер поддержка s3, алертинг и оператор (сейчас только хельм чарт есть)
буду рад фидбеку
код тут - https://github.com/VictoriaMetrics/VictoriaMetrics/tree/master/app/victoria-logs (монорепа для vm и vl)
мы сделали VictoriaLogs стоадж для хранения логов и основная цель будет сбор логов у к8s
на данный момент продукт уже готов и отлично себя показывает (ресурсов не жрет, жмет очень сильно)
https://docs.victoriametrics.com/victorialogs/
из фичей - куча протокол для поддержки (включая сислог нативный, промтеил (и все вариации этого имени), еслистика, примеры как присать через стандартные лош шиперы)
есть виализация в графае и свой UI + qiery langues, который позволяет впринципе делать с логами все что вы хотите (фильтрация аналитика slide/dice)
планиурем выпустить кластер и официально заявить что все продаклен реди к kubecon na
роадмап тут - https://docs.victoriametrics.com/victorialogs/roadmap/
из важного что будет - кластер поддержка s3, алертинг и оператор (сейчас только хельм чарт есть)
буду рад фидбеку
код тут - https://github.com/VictoriaMetrics/VictoriaMetrics/tree/master/app/victoria-logs (монорепа для vm и vl)
Victoriametrics
VictoriaLogs
Documentation for VictoriaMetrics, VictoriaLogs, Operator, Managed VictoriaMetrics and vmanomaly
Говорят, у Microsoft что-то сильно сломалось. Многие авиакомпании отменили рейсы из-за проблем с софтом
https://www.reuters.com/technology/frontier-says-operations-impacted-by-microsoft-outage-2024-07-19/
https://www.reuters.com/technology/frontier-says-operations-impacted-by-microsoft-outage-2024-07-19/
Reuters
Major US carriers restore some flight operations amid global cyber outage
Top U.S. carriers including Delta Air and United Airlines are restoring some operations on Friday after a technical issue related to an IT vendor forced multiple carriers to ground flights.
Временное решение:
BSOD > Troubleshoot > Advanced Options > Command Prompt, then run the command "move C:\Windows\System32\drivers\CrowdStrike C:\Windows\System32\drivers\CrowdStrike.bak"
https://github.com/elseif/MikroTikPatch/tree/main
Ломаная RouterOS. Ничего не проверял, используйте на свой страх и риск
#routeros #mikrotik
Ломаная RouterOS. Ничего не проверял, используйте на свой страх и риск
#routeros #mikrotik
GitHub
GitHub - elseif/MikroTikPatch: MikroTik RouterOS Patch Public Key and Generate License
MikroTik RouterOS Patch Public Key and Generate License - elseif/MikroTikPatch
NGINX Proxy Manager - pre-built docker image that enables you to easily forward to your websites running at home or otherwise, including free SSL, without having to know too much about Nginx or Letsencrypt
Контейнер с nginx, работающим в качестве reverse proxy с SSL и простой настройкой. Цитата из документации "так просто, что даже обезьяна справится".
https://github.com/NginxProxyManager/nginx-proxy-manager
Контейнер с nginx, работающим в качестве reverse proxy с SSL и простой настройкой. Цитата из документации "так просто, что даже обезьяна справится".
https://github.com/NginxProxyManager/nginx-proxy-manager
GitHub
GitHub - NginxProxyManager/nginx-proxy-manager: Docker container for managing Nginx proxy hosts with a simple, powerful interface
Docker container for managing Nginx proxy hosts with a simple, powerful interface - NginxProxyManager/nginx-proxy-manager
Inside a Marvell Teralynx 10 51.2T 64-port 800GbE Switch
- Marvell Teralynx 10 предназначен для использования в крупных AI-кластерах
- Коммутатор имеет 2U шасси с 64 портами OSFP, которые могут работать на скорости до 800 Гбит/с
- Общая пропускная способность 51.2 Тбит/с
- Marvell Teralynx 10 предназначен для использования в крупных AI-кластерах
- Коммутатор имеет 2U шасси с 64 портами OSFP, которые могут работать на скорости до 800 Гбит/с
- Общая пропускная способность 51.2 Тбит/с
ServeTheHome
Inside a Marvell Teralynx 10 51.2T 64-port 800GbE Switch
We dive into a 64-port 800GbE switch. We got to take apart a 51.2T Marvell Teralynx 10 switch before seeing it running traffic
Сегодня обнаружил, что у Grafana есть фича поиска своих токенов в GitHub.
Когда
Ваша Grafana может сравнивать этот хэш с хэшем своих токенов и присылать алерты что токен утек.
GitHub молодцы, Grafana молодцы, все молодцы! Осталось только включить
#grafana #security
Когда
GitHub Secret Scanning
находит Grafana secret, его хэш отправляется в Grafana Labs’ secret scanning service
.Ваша Grafana может сравнивать этот хэш с хэшем своих токенов и присылать алерты что токен утек.
GitHub молодцы, Grafana молодцы, все молодцы! Осталось только включить
[secretscan]
#grafana #security
Grafana Labs
Configure Grafana secret scanning and notifications | Grafana documentation
Detect and revoke leaked Grafana service account tokens
25 Computer Papers You Should Read!
25 технологий, сильно повлиявших на ИТ
- Google File System
- Amazon Dynamo
- BigTable
- Cassandra
- Spanner
- FoundationDB
- Amazon Aurora
- Borg (kubernetes)
- Shard Manager
- Zanzibar
- MapReduce
- Kafka
- Memcached
- Transformer architecture
- Bitcoin
- Myro paper optimized database storage and retrieval
- Vector databases
25 технологий, сильно повлиявших на ИТ
- Google File System
- Amazon Dynamo
- BigTable
- Cassandra
- Spanner
- FoundationDB
- Amazon Aurora
- Borg (kubernetes)
- Shard Manager
- Zanzibar
- MapReduce
- Kafka
- Memcached
- Transformer architecture
- Bitcoin
- Myro paper optimized database storage and retrieval
- Vector databases
YouTube
25 Computer Papers You Should Read!
Get a Free System Design PDF with 158 pages by subscribing to our weekly newsletter: https://bit.ly/bytebytegoytTopic
Animation tools: Adobe Illustrator and After Effects.
Checkout our bestselling System Design Interview books:
Volume 1: https://amzn.to/3Ou7gkd…
Animation tools: Adobe Illustrator and After Effects.
Checkout our bestselling System Design Interview books:
Volume 1: https://amzn.to/3Ou7gkd…