Forwarded from Pasha Finkelshteyn
Чатик, а вы знаете про конфу datalove, которая совсем скоро? https://datalove.konfy.care/
И вы только посомтрите какой там лайнап? Я не видел Холден уже больше года, например!
И вы только посомтрите какой там лайнап? Я не видел Холден уже больше года, например!
Детская книга про data science https://www.dominodatalab.com/childrens-book-florence-the-data-scientist-sweepstakes/ (вроде бесплатная)
Dominodatalab
Florence the Data Scientist and Her Magical Bookmobile: The First-Ever Children’s Book on Data Science | Domino Data Lab
Inspire the next generation of data scientists with this magical story of patterns, predictions, dogs, and dragons. Get the digital e-book or paperback today!
Я потратил 4 месяца на full time изучение Databricks на Azure. Вчера написал письмо пользователям, что вот все готово, переходим с HDInsight/SQL Server на Databricks. А сегодня оказалось, что больше мы не используем Databricks, и теперь Synapse Analytics. У которого тоже есть managed spark, delta lake, но все это еще местами сыровато. Все мои планы про крутые кейсы на databricks, про collaboration и продвижение продукта среди студий Microsoft улетучились. С завтрашнего дня начинаю ковырять Synapse. Чувствую себя примерно, как переходить с Tableau на Power BI, и вам обещают, что все будет так же и даже лучше🤪 Последние 4 месяца я в голове строил планы про архитектуру решения, возможные use cases, общался с другими командами и убеждал их в превосходстве Databricks над другими решениям, и многое другое, а теперь все это стало не актуальным, надо будет разобраться как это сделать на Synapse.
В любом случае опыт хороший получил по Databricks. Принципы Spark, pyspark и delta lake останутся неизменны. Но есть недостатки, например максимальная версия, которая есть у Synapse -> Spark 2.4.
Из хорошего, будет легче в datalearn засунуть Databricks и Synapse Analytics.
В любом случае опыт хороший получил по Databricks. Принципы Spark, pyspark и delta lake останутся неизменны. Но есть недостатки, например максимальная версия, которая есть у Synapse -> Spark 2.4.
Из хорошего, будет легче в datalearn засунуть Databricks и Synapse Analytics.
Forwarded from Alexander ⚛️ Morozov
Куда будет развиваться Google Cloud https://cloudwars.co/google-cloud/google-cloud-ceo-thomas-kurian-where-cloud-needs-to-go/
#datamesh будет мероприятие, может будет интересно, название веселое)) https://www.linkedin.com/events/howthe-ck-heck-doyoubuildadatam6780462587961319424/
Linkedin
How the **ck (heck) do you build a Data Mesh? | LinkedIn
TO REGISTER VISIT: https://app.livestorm.co/cinchy/s2-ep7-data-mesh
Data Mesh - Everyone is talking about it but who is actually making it happen? Once you scratch beneath the surface several big questions emerge.
Join Cinchy CEO, Dan DeMers, and Data…
Data Mesh - Everyone is talking about it but who is actually making it happen? Once you scratch beneath the surface several big questions emerge.
Join Cinchy CEO, Dan DeMers, and Data…
Microsoft продолжает экспериментировать с дата центрами. В статье они используют в качестве охлаждения специальную жидкость. До этого они проводили эксперимент, в котором положили дата центр на дно океана в специальной капсуле. В статье будет ссылку на это.
Крупные tech компании обсуждают экологические проблемы и сокращение выброса CO2. Датацентры потребляют огромное количество энергии и один из главных расходов - охлаждение.
Крупные tech компании обсуждают экологические проблемы и сокращение выброса CO2. Датацентры потребляют огромное количество энергии и один из главных расходов - охлаждение.
The Verge
Microsoft is now submerging servers into liquid baths
The cooling should improve performance and reliability while using less water.
Вы используете облачные вычисления в работе? (Cloud computing). То есть решения и продукты крупных облачный провайдеров.
Anonymous Poll
22%
Amazon Web Services🍌
10%
Microsoft Azure🪟
20%
Google Cloud Platform🔎
7%
Yandex Cloud🚩
1%
Mail Cloud💌
8%
Мы пользуемся услугами хостинга (арендуем виртуальные машины)🛠️
6%
Планируем изучать западное облако🌈
4%
Планируем изучать отечественное облако🤞
21%
Не используем и не планируем🦕
Сегодня на работе затронули важную тему, которую часто упускают из виду, и потом получается не очень комильфо.😵💫 Я кстати всегда на эти грабли наступаю. Это naming convention. То есть как вы будете называть ETL jobs, ресурсы в облаке, хосты баз данных, и другие компоненты инфраструктуры. У Azure есть хороший документ про это. Скиньте в коменты ещё полезные ссылки по этой теме.
Docs
Define your naming convention - Cloud Adoption Framework
Learn how to create a standardized naming convention for Azure resources that ensures clarity, consistency, and compliance with Azure naming requirements across your cloud environment.
Конференция Microsoft про game development https://developer.microsoft.com/en-us/games/events/game-stack-live/
Для оптимизации запросов через Apache Spark используется система индексации данных hyperspace. Вот описание от Synapse, но там есть ссылка на основной продукт. Используете? #spark
TECHCOMMUNITY.MICROSOFT.COM
Open-sourcing Hyperspace v0.1: An Indexing Subsystem for Apache Spark™ | Microsoft Community Hub
Today, we are making that possible by open-sourcing Hyperspace v0.1 open-sourcing Hyperspace v0.1 – an indexing subsystem for Apache Spark™....
На конференции Microsoft ignite было много новинок, их можно найти в книге.
Microsoft Ignite 2021 Book of News
The Book of News is a guide to all the announcements made during Microsoft Ignite, March 2 - 4, 2021.