Инжиниринг Данных
23.4K subscribers
1.92K photos
57 videos
191 files
3.16K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
Согласно github, datalearn 10 мая был 1 год!
Урок 5.4 Основы безопасности облачных решений.

Безопасность одна из самых важных и скучных тем, по крайней мере для меня. Очень важно понимать возможности облачных провайдеров и знать основные правила создания облачных решений. В этом уроке я расскажу про:

📌 Cloud Shared Responsibility Model (Модель общей ответственности в облаке)
📌 Security Terms (Термины безопасности)
📌 Cloud Security Threats (Облачные угрозы безопасности)
📌 Cloud Security Mechanisms

На лабораторной работе мы посмотрим примеры сервисов для безопасности облачных решения и воспользуемся AWS CLI.
Ребята в процессе создания лабораторных работ для модуля 5. Уже готовы:

Запуск экземпляра EC2 в частном виртуальном облаке (Virtual Private Cloud - VPC)
В этом практическом занятии у вас будет возможность изучить и понять фундаментальные и вычислительные сервисы, предоставляемые AWS. Мы создадим частное виртуальное облако (Virtual Private Cloud - VPC), подсети в нескольких зонах доступности (Availability Zones - AZs), маршруты (routes) и интернет-шлюз (internet gateway), а также добавим группу безопасности. Эти сервисы являются основой сетевой архитектуры внутри AWS и охватывают такие концепции, как инфраструктура, дизайн, маршрутизация и безопасность.
Автор: @erfolg5862

Создаем статичный веб-сайт на Amazon S3
В этой лабораторной работе мы с вами создадим простой статичный веб-сайт и зададим базовые настройки его конфигурации. Этот пример продемонстрирует, как легко можно создать хостинг для веб-сайта, который будет содержать файлы: HTML, CSS, JavaScript, шрифты и изображения.
автор: @edgar_lakshin

Создаем лямбда функцию в AWS Console
В этом практическом лабораторном сценарии вы напишете лямбда-функцию Node.js, которая проверяет URL-адрес (например, www.amazon.com) и возвращает код состояния, который показывает, работает ли веб-сайт или нет. Во время этой лабораторной работы у вас будет возможность изучить консоль Lambda, код функции, роли выполнения, тестовые события и результаты выполнения. AWS Lambda позволяет писать краткие функции и беспокоиться только о своем коде. Поскольку Lambda является бессерверной, AWS управляет базовой инфраструктурой за вас.
Автор: @AlexMadeAnotherOne

И в процессе еще много лабораторных работ по модулю 5, 6 (облачные DW), и 8(big data в облаке).

Хотите, что-то выучить? Лучший вариант это учить других;) Можете тоже добавить лабораторную работу.
как же знакомо…🤣
Материалы “Cheat Sheet” по подготовки к сертификации по Google Cloud Platform. https://www.startcloudnow.com/google%20cloud.html
original.pdf
1.2 MB
Azure Synapse Analytics Playbook
IoT аналитика всегда интересна. Примеры решений на Azure Databricks (Spark). IoT проект включает в себя:
- создание Delta Lake (3 слоя Bronze, Silver, Gold)
- создание streaming pipelines
- дашборды на Power BI

Part 1
Part 2
Part 3
GDPR и Privacy - вызов для дата инжиниринга. Тут нужно либо потратить много времени для дизайна будущей системы, чтобы она отвечала всем требованиям, либо потратить ещё больше времени на модификацию существующей.

NY times рассказывает про свой случай.

В Амазоне я застал время до и после законов GDPR. В один прекрасный момент все наши озера данных (данные в S3 в виде файлов), стали вдруг не complaint. Решение были разные:
1) перезагружать все данные каждые 90 дней
2) хранить только последние 30 дней
3) хранить только в базе данных Redshift
4)Delta Lake на EMR+Spark

Все вдруг стали очень занятыми и у нас появилось много новой работы))
Daniel Kahneman: ‘Clearly AI is going to win. How people are going to adjust is a fascinating problem’

Daniel Kahneman, 87, was awarded the Nobel prize in economics in 2002 for his work on the psychology of judgment and decision-making. His first book, Thinking, Fast and Slow, a worldwide bestseller..В общем понятно, что за “кент”))

https://www.theguardian.com/books/2021/may/16/daniel-kahneman-clearly-ai-is-going-to-win-how-people-are-going-to-adjust-is-a-fascinating-problem-thinking-fast-and-slow
Вы просили, мы постарались, отдельное спасибо Никите Бабурову, который помог списаться со спикером))
В четверг 20 мая в 19:00 по МСК вебинар с Романом Зыковым.

Роман - автор нашумевшей в последнее время книги "Роман с Data Science"... Проведет для нас вебинар на тему: Как научить менеджеров правильно работать с data scientists?

О чем пойдет речь сможете прочитать в описании под видео.

Всем кто хочет, добро пожаловать на вебинар, если будут те, кто уже прочел его книгу, сможете задать вопросы.
Ссылка на вебинар: https://youtu.be/zPUNZZtMvNI

Всех обнял, до встречи на вебинаре и не забывайте подписываться на наш ютуб!
Всем привет, я как-то скидывал эту анкету, чтобы собрать контакты людей, у кого есть хороший опыт в DS, DE, BI. Так как канадская компания Rock Your Data активна и иногда появляются интересные проекты, поэтому хочу освежить лист контактов.

Мне кажется, что после пандемии спрос возрастет среди Канадских компаний и будут писать чаще.
This media is not supported in your browser
VIEW IN TELEGRAM
Небольшой урок английского. Что скрывается за красивыми словами корпоротивного мира и не только.

I present you this new symbol of togetherness and cooperation this flag which shall be the emblem of the new free Jones plantation he held up the new flag but most of those listening were still too amazed to respond and this shall be our motto mr. Smith announced we work together as free men for our mutual benefit pledging our allegiance to the Jones plantation which stands for prosperity liberty and
justice for all to celebrate everyone has the rest of the day off enjoy your freedom do as you please and be back here tomorrow morning bright and early so that we may begin work on this great and noble new
endeavour as equal freemen…
.

Всем хорошего и продуктивного дня, as free men and women! 🤫😇😜