Завтра выступаю https://data-science-ua.com/conference/wp-content/uploads/2020/10/9th-Data-Science-UA-Conference-Agenda.pdf от Амазон, хотя уже не в амазон😝, на последок так сказать
Netflix создал еще одно решение - Бульдозер, для экспорта данных из хранилища данных в NoSQL. https://netflixtechblog.com/bulldozer-batch-data-moving-from-data-warehouse-to-online-key-value-stores-41bac13863f8
Medium
Bulldozer: Batch Data Moving from Data Warehouse to Online Key-Value Stores
By Tianlong Chen and Ioannis Papapanagiotou
Еще один термин, который чем-то зацепил - Data Discovery Platform. Подробности тут.
eugeneyan.com
Data Discovery Platforms and Their Open Source Solutions
What questions do they answer? How do they compare? What open-source solutions are available?
Довольный большая серия постов “Building data-driven organizations”.
Part 1: What it means to be data-driven
Part 2: Why organizations fail to make data-driven decisions
Part 3: How to operationalize better decision-making
Part 1: What it means to be data-driven
Part 2: Why organizations fail to make data-driven decisions
Part 3: How to operationalize better decision-making
How to Data
Building data-driven organizations, Part 1: What it means to be data-driven
Decision-making and what really matters
Pandas vs PySpark, статья про то, когда, что использовать.
Medium
Pandas, Dask or PySpark? What Should You Choose for Your Dataset?
Do you need to handle datasets that are larger than 100GB?
Forwarded from Banana Analyst
О мотивации.
Меня очень привлекает тема мотивации, реализации себя в деятельности. Ну а раз уж вышло так, что на работе мы проводим бОльшую часть своего времени, то личностная реализация в работе - то, что доктор прописал для повышения качества жизни.
Очень люблю и долго перевариваю статью о соединении целей компании и человека.
Перечитала ее раза 3, сформулировала свою цель, нашла свой архетип и теперь потихоньку наблюдаю за другими - что же их драйвит и активирует.
Наверное это начало чего-то нового и интересного.
Меня очень привлекает тема мотивации, реализации себя в деятельности. Ну а раз уж вышло так, что на работе мы проводим бОльшую часть своего времени, то личностная реализация в работе - то, что доктор прописал для повышения качества жизни.
Очень люблю и долго перевариваю статью о соединении целей компании и человека.
Перечитала ее раза 3, сформулировала свою цель, нашла свой архетип и теперь потихоньку наблюдаю за другими - что же их драйвит и активирует.
Наверное это начало чего-то нового и интересного.
Reminder
Почему сотрудники должны реализовывать личные цели во время работы? Исследование McKinsey — Reminder
Смысл и целеполагание снижают уровень стресса и приносят прибыль
Очень крутая история про теории заговора, на примере создании монополии лампочек в 1920х годах. Причем ссылку нашел под обсуждением функциональности SAP, где уже известен факт, что SAP делает свое решение не простым, чтобы было место для продажи услуг консалтинга и поле работы для сети партнёров.
IEEE Spectrum
The Great Lightbulb Conspiracy
The Phoebus cartel engineered a shorter-lived lightbulb and gave birth to planned obsolescence
Я собрался с силами, и решил написать статью про Rock Your Data на хабр, почти инструкцию по созданию консалтинг компании. Это такой pet project, который дал много полезного опыта и знакомств, познакомил и посорил с разными людьми. Если кому интересно, то вот презентация, которую я собрал в конце 2019 года по результатам работы за 1,5 года и следующими шагами, но потом случилась пандемия и многое изменились.
Google Docs
RYD 2019 Results
2019 result RYD Confidential
Роман подготовил следующий вебинар для вас:
Друзья, новая пушка для вас заряжена!
Во вторник (24.11.2020) в 20:00 по мск для вас вебинар в прямом эфире!
Вы просили практики или реальных кейсов, да не вопрос:)
Тема вебинара: "Как построить систему маркетинговой аналитики на Google Cloud"
План вебинара:
- Архитектура решения и её ключевые элементы;
- На что обратить внимание перед построением решения;
- Преимущества Google BigQuery при построении маркетинговой аналитики;
- Как построить простой ETL с помощью Cloud Functions + Cloud Pub/Sub + Cloud Scheduler + dbt;
- Google Data Studio как средство визуализации данных;
- Пути масштабирования системы.
Спикер: Денис Соловьев.
Денис также является подписчиком нашего канала, который изучает дата инжиниринг и применяет его на практике.
Я увидел его комментарий в телеграмм канале Димы Аношина "Инжиниринг Данных" под одним из постов, плюс многие из вас его также видели и поэтому просили побольше реальных практических разборов и я просто не мог пройти мимо, написал Денису и он согласился поделиться своими знаниями, спасибо ему за это.
Да и вообще спасибо каждому из вас, радует что люди потихоньку перестают прятаться и готовы делиться знаниями среди вас очень много толковых ребят, лично я думаю что все, так что не прячьтесь со временем всех вычислю 🙂
Рекомендации как всегда: ничего не планируйте на вечер, уделите пару часов для пополнения своих знаний и заварите чаек :slightly_smiling_face:
Ну и подписывайтесь на наш ютуб канал, ставьте колокольчик и делитесь видосиками с коллегами и друзьями
https://youtu.be/mqE6Q3WmoCU
Друзья, новая пушка для вас заряжена!
Во вторник (24.11.2020) в 20:00 по мск для вас вебинар в прямом эфире!
Вы просили практики или реальных кейсов, да не вопрос:)
Тема вебинара: "Как построить систему маркетинговой аналитики на Google Cloud"
План вебинара:
- Архитектура решения и её ключевые элементы;
- На что обратить внимание перед построением решения;
- Преимущества Google BigQuery при построении маркетинговой аналитики;
- Как построить простой ETL с помощью Cloud Functions + Cloud Pub/Sub + Cloud Scheduler + dbt;
- Google Data Studio как средство визуализации данных;
- Пути масштабирования системы.
Спикер: Денис Соловьев.
Денис также является подписчиком нашего канала, который изучает дата инжиниринг и применяет его на практике.
Я увидел его комментарий в телеграмм канале Димы Аношина "Инжиниринг Данных" под одним из постов, плюс многие из вас его также видели и поэтому просили побольше реальных практических разборов и я просто не мог пройти мимо, написал Денису и он согласился поделиться своими знаниями, спасибо ему за это.
Да и вообще спасибо каждому из вас, радует что люди потихоньку перестают прятаться и готовы делиться знаниями среди вас очень много толковых ребят, лично я думаю что все, так что не прячьтесь со временем всех вычислю 🙂
Рекомендации как всегда: ничего не планируйте на вечер, уделите пару часов для пополнения своих знаний и заварите чаек :slightly_smiling_face:
Ну и подписывайтесь на наш ютуб канал, ставьте колокольчик и делитесь видосиками с коллегами и друзьями
https://youtu.be/mqE6Q3WmoCU
YouTube
КАК ПОСТРОИТЬ СИСТЕМУ МАРКЕТИНГОВОЙ АНАЛИТИКИ НА GOOGLE CLOUD / ДЕНИС СОЛОВЬЕВ
План вебинара:
- Архитектура решения и её ключевые элементы;
- На что обратить внимание перед построением решения;
- Преимущества Google BigQuery при построении маркетинговой аналитики;
- Как построить простой ETL с помощью Cloud Functions + Cloud Pub/Sub…
- Архитектура решения и её ключевые элементы;
- На что обратить внимание перед построением решения;
- Преимущества Google BigQuery при построении маркетинговой аналитики;
- Как построить простой ETL с помощью Cloud Functions + Cloud Pub/Sub…
Денис Соловьев @ds_im, только что закончил доклад про аналитическое решение в облаке google. Очень крутой и современный доклад, с которым можно выступать на конференции в Америке или Европе. Денис проделал большую работу и теперь может строить масштабируемых и эффективные решения в облаке. Если вы несмотрели доклад, обязательно рекомендую! Запись осталась на ютубе https://youtu.be/mqE6Q3WmoCU
YouTube
КАК ПОСТРОИТЬ СИСТЕМУ МАРКЕТИНГОВОЙ АНАЛИТИКИ НА GOOGLE CLOUD / ДЕНИС СОЛОВЬЕВ
План вебинара:
- Архитектура решения и её ключевые элементы;
- На что обратить внимание перед построением решения;
- Преимущества Google BigQuery при построении маркетинговой аналитики;
- Как построить простой ETL с помощью Cloud Functions + Cloud Pub/Sub…
- Архитектура решения и её ключевые элементы;
- На что обратить внимание перед построением решения;
- Преимущества Google BigQuery при построении маркетинговой аналитики;
- Как построить простой ETL с помощью Cloud Functions + Cloud Pub/Sub…
Forwarded from DataEng
Ура! На AWS появилась возможность запускать пайплайны на Airflow.
Apache Airflow на AWS: https://aws.amazon.com/ru/blogs/aws/introducing-amazon-managed-workflows-for-apache-airflow-mwaa/
Apache Airflow на AWS: https://aws.amazon.com/ru/blogs/aws/introducing-amazon-managed-workflows-for-apache-airflow-mwaa/
Amazon
Introducing Amazon Managed Workflows for Apache Airflow (MWAA) | Amazon Web Services
As the volume and complexity of your data processing pipelines increase, you can simplify the overall process by decomposing it into a series of smaller tasks and coordinate the execution of these tasks as part of a workflow. To do so, many developers and…