Уже все хорошо осведомлены про Generative AI и LLMs. Вот только не очень понятно как это относится к традиционными специальностям, таким как Data Engineer, Analytics Engineer, BI Engineer, Data Analyst (думаю так-же относится и к Data Scientist, ML engineer в большей степени даже).
Для меня всегда самый лучший источник “правильных” знаний - best practices и use cases - являются курсы вендоров, и конечно, далеко ходить не надо, нужно выбрать самых топовых вендоров Snowflake и Databricks и простой найти время на ознакомление с их курсами, множество из которых, могут быть бесплатными.
Тут важно понимать, что нужны фундаментальные знания и опыт в вашей специализации, тогда вам будет проще понять, какие преимущества несет новый функционал и как можно красиво его запаковать в резюме или просто продать себя подороже.
До сих пор, в требованиях к традиционным дата вакансиям не требуются знания новых инструментов, но это лишь вопрос времени. Поэтому смело можете добавить в закладки тренинги вендоров, где рассказывается не только теория, но нужно еще ручками что-то делать.
☃️ Snowflake выпустил свою модуль LLM - Acrtic - Snowflake Launches Arctic: The Most Open, Enterprise-Grade Large Language Model
И конечно уже есть немножко тренингов - SNOWFLAKE ARCTIC COOKBOOK
🧱Databricks уже давно запустил свой LLM - Introducing DBRX: A New State-of-the-Art Open LLM
И уже выпустил тренинги на Edx:
- Databricks: Large Language Models: Application through Production
- Databricks: Large Language Models: Foundation Models from the Ground Up
На coursera тоже есть:
- Databricks to Local LLMs - целая специализация.
И на самом сайте Databricks:
- Generative AI and large language models (LLMs) on Databricks
Дополнительные разделы:
- Databricks Vector Search
- Evaluate large language models with MLflow
- Retrieval Augmented Generation (RAG) on Databricks
Для меня всегда самый лучший источник “правильных” знаний - best practices и use cases - являются курсы вендоров, и конечно, далеко ходить не надо, нужно выбрать самых топовых вендоров Snowflake и Databricks и простой найти время на ознакомление с их курсами, множество из которых, могут быть бесплатными.
Тут важно понимать, что нужны фундаментальные знания и опыт в вашей специализации, тогда вам будет проще понять, какие преимущества несет новый функционал и как можно красиво его запаковать в резюме или просто продать себя подороже.
До сих пор, в требованиях к традиционным дата вакансиям не требуются знания новых инструментов, но это лишь вопрос времени. Поэтому смело можете добавить в закладки тренинги вендоров, где рассказывается не только теория, но нужно еще ручками что-то делать.
И конечно уже есть немножко тренингов - SNOWFLAKE ARCTIC COOKBOOK
🧱Databricks уже давно запустил свой LLM - Introducing DBRX: A New State-of-the-Art Open LLM
И уже выпустил тренинги на Edx:
- Databricks: Large Language Models: Application through Production
- Databricks: Large Language Models: Foundation Models from the Ground Up
На coursera тоже есть:
- Databricks to Local LLMs - целая специализация.
И на самом сайте Databricks:
- Generative AI and large language models (LLMs) on Databricks
Дополнительные разделы:
- Databricks Vector Search
- Evaluate large language models with MLflow
- Retrieval Augmented Generation (RAG) on Databricks
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡39🐳5
Forrester Wave: Data Lakehouses, Q2 2024
В отчете Forrester Wave за второй квартал 2024 года рассмотрены 13 ключевых вендоров решений для data lakehouse, их предложения и позиции на рынке. Авторы отчета с коллегами провели анализ по 24 критериям, оценивая важнейшие компании, предоставляющие услуги в области управления данными.
Особое внимание уделено интегрированным решениям, использованию GenAI и производительности при масштабировании, что является критически важным для современных бизнес-задач.
Традиционные хранилища данных и озера данных уже не справляются с растущими требованиями бизнеса из-за недостаточной гибкости, масштабируемости, интеграции, автоматизации и управления.
Решения data lakehouse преодолевают эти проблемы, предоставляя единую платформу данных с передовыми возможностями AI, что ускоряет получение ценности от новых бизнес-инициатив.
В докладе подробно описываются сильные и слабые стороны каждого поставщика, а также даны рекомендации по выбору подходящего поставщика в зависимости от специфических бизнес-потребностей.
Компании Databricks, Google и Snowflake выделены как лидеры рынка благодаря своим инновационным платформам, обеспечивающим масштабируемость, безопасность и комплексную интеграцию.
PS странно что Microsoft отстает со своим Fabric и One Lake. Зато хорошо все с Power BI.
В отчете Forrester Wave за второй квартал 2024 года рассмотрены 13 ключевых вендоров решений для data lakehouse, их предложения и позиции на рынке. Авторы отчета с коллегами провели анализ по 24 критериям, оценивая важнейшие компании, предоставляющие услуги в области управления данными.
Особое внимание уделено интегрированным решениям, использованию GenAI и производительности при масштабировании, что является критически важным для современных бизнес-задач.
Традиционные хранилища данных и озера данных уже не справляются с растущими требованиями бизнеса из-за недостаточной гибкости, масштабируемости, интеграции, автоматизации и управления.
Решения data lakehouse преодолевают эти проблемы, предоставляя единую платформу данных с передовыми возможностями AI, что ускоряет получение ценности от новых бизнес-инициатив.
В докладе подробно описываются сильные и слабые стороны каждого поставщика, а также даны рекомендации по выбору подходящего поставщика в зависимости от специфических бизнес-потребностей.
Компании Databricks, Google и Snowflake выделены как лидеры рынка благодаря своим инновационным платформам, обеспечивающим масштабируемость, безопасность и комплексную интеграцию.
PS странно что Microsoft отстает со своим Fabric и One Lake. Зато хорошо все с Power BI.
❤🔥13🍾3⚡2
Вот это уже интересный тренд, и это не только в Гугле. В других больших компаниях из списка S&P500 похожий тренд, но называется он по другому - increase global presence (имеется ввиду открыть офис в Индии). Мне даже как-то менеджер сказал - “Чего ты паришься, что в Канаде зарплата меньше, чем у такого же инженера в США в его же команде, вон мы в Индии офис открываем там на твою зарплату мы наймем несколько инженеров”.
Индийские компании уже давно оказывают услуги, чаще как консалтинг. Например софт для боинга 747.
Здесь идет речь про именно открытие офисов и центров разработки в странах с дешевой рабочей силой.
Поэтому вопрос, что будет быстрей - вас заменит AI или дешевой рабочей силой (что более вероятно)
А вы как думаете?
Индийские компании уже давно оказывают услуги, чаще как консалтинг. Например софт для боинга 747.
Здесь идет речь про именно открытие офисов и центров разработки в странах с дешевой рабочей силой.
Поэтому вопрос, что будет быстрей - вас заменит AI или дешевой рабочей силой (что более вероятно)
А вы как думаете?
🐳38🗿25🫡7⚡3😈1
В статье про Analytics as a Code автор рассказывает про 4 уровня решений. Их решение Holistics, конечно же на 4м.
Мне у них особенно понравилось:
As analytics logic becomes more complex, it becomes harder to manage and maintain the code. A 500-1000 line SQL query is not rare in companies reaching a certain size. At dbt Coalesce 2023, dbt Labs noted a rising trend of projects with over 5000 dbt models.
То есть они предлагают 2500 в дбт и 2500 в BI? Мне кажется будет в итоге 5000 в дбт, и еще 3000 в Holistics. Потом придет новый босс и скажет мигрируем все на Databricks (PySpark) и Power BI или Tableau (к сожалению это не шутки, так всегда и бывает)
Мне как бывшему BIайщику, кто работал на разных BI инструментах сейчас однозначно нравятся решения с кодом и интеграцией в git. Looker самый удачный и популярный пример.
Из плюсов сложней создать «помойку» дашбордов, но из минусов, что создать сам дашборд дольше и сложней. Обычно эти решений взаимодействуют напрямую с базой данных и у них скудные возможности кеширования, то есть нет возможности экстрактов по 100Гб (зато не надо потом это дело troubleshooting)
И вообще типичный бизнес пользователь при слове git, код и тп впадает в ступор.
В любом случае, эксель все еще популярен👨💻
Как у вас BI на работе? Ваш красивый дашборд все еще хотят выгрузить в Excel? У вас не меньше 5 разный показателей «прибыль» от разных команд, с разной логикой?
Мне у них особенно понравилось:
As analytics logic becomes more complex, it becomes harder to manage and maintain the code. A 500-1000 line SQL query is not rare in companies reaching a certain size. At dbt Coalesce 2023, dbt Labs noted a rising trend of projects with over 5000 dbt models.
То есть они предлагают 2500 в дбт и 2500 в BI? Мне кажется будет в итоге 5000 в дбт, и еще 3000 в Holistics. Потом придет новый босс и скажет мигрируем все на Databricks (PySpark) и Power BI или Tableau (к сожалению это не шутки, так всегда и бывает)
Мне как бывшему BIайщику, кто работал на разных BI инструментах сейчас однозначно нравятся решения с кодом и интеграцией в git. Looker самый удачный и популярный пример.
Из плюсов сложней создать «помойку» дашбордов, но из минусов, что создать сам дашборд дольше и сложней. Обычно эти решений взаимодействуют напрямую с базой данных и у них скудные возможности кеширования, то есть нет возможности экстрактов по 100Гб (зато не надо потом это дело troubleshooting)
И вообще типичный бизнес пользователь при слове git, код и тп впадает в ступор.
В любом случае, эксель все еще популярен
Как у вас BI на работе? Ваш красивый дашборд все еще хотят выгрузить в Excel? У вас не меньше 5 разный показателей «прибыль» от разных команд, с разной логикой?
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
💯32
Forwarded from Data Bar | О data-проектах
20 лет назад я начал работать в системах MatLab и OriginLab c данными физических экспериментов, и это было начало пути анализа и визуализации данных. Рад, что работал, продолжаю работать и общаться с крутыми и максимально недушными командами в классных компаниях и как BI разработчик, и как независимый консультант, и как менеджер. Много драйва было в сообществе Tableau, что сильно увлекло, кардинально утащило в датавиз и изменило карьерный трек. Были блоги, статьи, конкурсы и много общения с аналитиками из разных стран.
Удивительно, но самые ценные вещи в аналитике узнаешь не на официальных мероприятиях и конференциях, а в неформальном общении и различных дата-активностях. Особенно интересные мысли приходят в кафе и барах. За пределами Слака и Джиры тоже есть жизнь, ну и такие вещи особенно запоминаются.
Накопилось много работ и мыслей, которые просто по времени не успеваю упаковывать в полноценные визы и статьи. Поэтому в Телеграме запускаю канал ‘Data Bar’, где буду писать про анализ данных и визуализацию максимально неформально.
Буду рад всем. Вэлкам:
https://t.me/data_bar
Александр Варламов
Удивительно, но самые ценные вещи в аналитике узнаешь не на официальных мероприятиях и конференциях, а в неформальном общении и различных дата-активностях. Особенно интересные мысли приходят в кафе и барах. За пределами Слака и Джиры тоже есть жизнь, ну и такие вещи особенно запоминаются.
Накопилось много работ и мыслей, которые просто по времени не успеваю упаковывать в полноценные визы и статьи. Поэтому в Телеграме запускаю канал ‘Data Bar’, где буду писать про анализ данных и визуализацию максимально неформально.
Буду рад всем. Вэлкам:
https://t.me/data_bar
Александр Варламов
🗿14 6❤🔥4🍌3
P&L или Profit & Loss важная финансовая отчетность. Которая с одной стороны простая. А с другой вообще не понятно.
Поэтому данный пост Reading a Profit & Loss statement вам в помощь
Поэтому данный пост Reading a Profit & Loss statement вам в помощь
⚡22❤🔥2💯2🙈1
350к $ в год на расходы - хороший F.I.R.E. в Калифорнии. Вообще смотрел, надо накопить 5млн $ кешем, и уже жить на дивиденды, хотя если средний рост 5%, то 250к в год это прям не густо. Кто-то мне говорил про 2млн CAD для Торонто (наверно наивная оценка). Я сам не планирую FIRE, так как расходы высокие на детей и на жизнь, но всегда интересно смотреть на цифры - Your Neighbors Are Retiring in Their 30s. Why Can’t You?
Идея не работать на дядю очень классная, и работать на себя и в своем режиме тоже замечательно. FIRE это не про сидеть на диване и ничего не делать, это больше про свободу. А свобода стоит денег, так что надо много работать и учиться. А там уже как повезет🚣
Есть у кого инфа про FIRE или планы ранней пенсии?
Идея не работать на дядю очень классная, и работать на себя и в своем режиме тоже замечательно. FIRE это не про сидеть на диване и ничего не делать, это больше про свободу. А свобода стоит денег, так что надо много работать и учиться. А там уже как повезет
Есть у кого инфа про FIRE или планы ранней пенсии?
Please open Telegram to view this post
VIEW IN TELEGRAM
NY Times
Your Neighbors Are Retiring in Their 30s. Why Can’t You? (Gift Article)
Meet the schemers and savers obsessed with ending their careers as early as possible.
❤🔥15
Заменит ли нас AI?:) https://youtube.com/shorts/eJMD575FZtM
Сделайте доброе дело, поставьте like на YouTube😐
Сделайте доброе дело, поставьте like на YouTube
Please open Telegram to view this post
VIEW IN TELEGRAM
YouTube
New Conspiracy Theory #surfalytics #dmitryanoshin #datacommunity #openai #careeropportunities #short
If you support Dmitry Anoshin's theory like, share and subscribe!Master essential concepts, get hands-on with practical tips with our free video course! Get ...
🍾10🌚3
14-15 мая - Iceberg Summit. Iceberg формат для хранения данных в озере данных lake house. Если вы работаете с данными, то вы должны знать один из 3х форматов delta, iceberg, hudi.
Реально 2 доминируют Delta развивается databricksом, Iceberg сам по себе хорош и популярен.
Реально 2 доминируют Delta развивается databricksом, Iceberg сам по себе хорош и популярен.
⚡8❤🔥2💯1
Pytup в Нижнем Новгороде 1 июня
Вас ждёт большая конференция по Python-разработке Pytup.
В программе — выступления спикеров, новости языка, актуальные кейсы экспертов и, конечно, нетворкинг.
Узнаете, как создать платформу для обработки данных в вашей IT-компании или микросервис обработки геометрических данных. А ещё послушаете крутые доклады, получите ответы на вопросы и пообщаетесь со спикерами и коллегами.
Зарегистрироваться на Pytup! 💛
Вас ждёт большая конференция по Python-разработке Pytup.
В программе — выступления спикеров, новости языка, актуальные кейсы экспертов и, конечно, нетворкинг.
Узнаете, как создать платформу для обработки данных в вашей IT-компании или микросервис обработки геометрических данных. А ещё послушаете крутые доклады, получите ответы на вопросы и пообщаетесь со спикерами и коллегами.
Зарегистрироваться на Pytup! 💛
🗿14
Опубликовал блог пост про подготовку к поиску работы при переезде или иммиграции. Так же подойдет к тем, кто только начинает учится и не понимает, куда двигаться и что учить.
Surfalytics
From Relocation to Employment: Strategies for Career Success Abroad
Mastering Job Market Dynamics, Building Key Skills, and Expanding Your Professional Network
👨💻28❤🔥6👾2🗿1
Сколько я стою на рынке ИТ? - Один из самых частых запросов у ИТ-шников.
Куда мне расти в ИТ, какие карьерные треки могут быть?
Круто, что есть каналы, к примеру, канал Ольги Романовой, в котором показывают реальные офферы, уровень зарплат на рынке ИТ и лайфхаки по составлению резюме, в т.ч. для продактов
Зацените:
— как получить 5 офферов за 2 месяца, в т.ч. на 500к
— Оффер в 21 год без высшего образования на 250к
— Оффер на 750к +
Специально для подписчиков моего канала Ольга с командой проведет несколько карьерных диагностик, оценит вашу стоимость на рынке и подскажет первые шаги для достижения карьерной цели. Детали под этим постом (там вообще оффер на 1 млн!)
Куда мне расти в ИТ, какие карьерные треки могут быть?
Круто, что есть каналы, к примеру, канал Ольги Романовой, в котором показывают реальные офферы, уровень зарплат на рынке ИТ и лайфхаки по составлению резюме, в т.ч. для продактов
Зацените:
— как получить 5 офферов за 2 месяца, в т.ч. на 500к
— Оффер в 21 год без высшего образования на 250к
— Оффер на 750к +
Специально для подписчиков моего канала Ольга с командой проведет несколько карьерных диагностик, оценит вашу стоимость на рынке и подскажет первые шаги для достижения карьерной цели. Детали под этим постом (там вообще оффер на 1 млн!)
Telegram
Про Проекты и карьеру в ИТ | Романова
Нужно задавать неудобные вопросы первым, иначе их зададут тебе.
Или в чем секрет получения 5 офферов?
Недавно в группе моих карьерных выпускников возник такой вопрос и завязалась очень жаркое обсуждение. Решила с вами поделиться мнением одного из участников…
Или в чем секрет получения 5 офферов?
Недавно в группе моих карьерных выпускников возник такой вопрос и завязалась очень жаркое обсуждение. Решила с вами поделиться мнением одного из участников…
🗿25🍌12🐳6⚡1🙈1
Реально так и есть, сколько у народа сертификатов всяких, но нет реального опыта.
Намного хуже, когда вы платите не 15$ за udemy курс, а платите 30к-50к$ за Masters программу по аналитике, и часто вы в такой же ситуации.
Вроде знания и диплом есть, а как применить их не понятно. В Ванкувере есть 2 универа SFU, UBC и у обоих есть такие программы и я встречал много студентов (у меня даже есть в Surfalytics), кому очень сложно найти работу, потому-то они часто учат теорию в отрыве от реальности, у них нет контекста. И чем дальше, тем сложней понять, что нужно учить, что говорить на собеседовании, и что писать в резюме.
У кого сколько сертификатов?
У меня был знакомый у кого было больше 115 сертификатов, и он продолжал учиться и сдавать еще больше. Вопрос всегда один и тот же, если такой умный, то почему такой бедный🍟
Намного хуже, когда вы платите не 15$ за udemy курс, а платите 30к-50к$ за Masters программу по аналитике, и часто вы в такой же ситуации.
Вроде знания и диплом есть, а как применить их не понятно. В Ванкувере есть 2 универа SFU, UBC и у обоих есть такие программы и я встречал много студентов (у меня даже есть в Surfalytics), кому очень сложно найти работу, потому-то они часто учат теорию в отрыве от реальности, у них нет контекста. И чем дальше, тем сложней понять, что нужно учить, что говорить на собеседовании, и что писать в резюме.
У кого сколько сертификатов?
У меня был знакомый у кого было больше 115 сертификатов, и он продолжал учиться и сдавать еще больше. Вопрос всегда один и тот же, если такой умный, то почему такой бедный
Please open Telegram to view this post
VIEW IN TELEGRAM
❤🔥43⚡11🤷♀6🙈6💯2
Стать сотрудником Яндекса быстрее и проще, чем кажется. Участвуйте в днях быстрого найма: решите тестовое, пройдите несколько секций собеседования и получите офер за несколько дней.
Ближайшие Fast Track мероприятия:
• 3–7 июня — для технических менеджеров и Crowd Solutions Architect, офер за 5 дней в команду Crowd.
• 8–9 июня — для дата-инженеров, офер за 2 дня в DWH команды Маркета.
Зарегистрироваться
Ближайшие Fast Track мероприятия:
• 3–7 июня — для технических менеджеров и Crowd Solutions Architect, офер за 5 дней в команду Crowd.
• 8–9 июня — для дата-инженеров, офер за 2 дня в DWH команды Маркета.
Зарегистрироваться
🗿21🙈11❤🔥1🐳1🌚1🌭1👾1
Уже пару месяцев как закончил книгу "Freakonomics" (в русском переводе "Фрикономика"), написанная Стивеном Левиттом и Стивеном Дабнером, которая исследует экономические принципы в нестандартных ситуациях и предлагает неожиданные объяснения повседневных явлений.
Основные идеи книги включают анализ экономических и социальных проблем с применением нетрадиционных подходов и методов.
Основные идеи книги:
Экономика всего вокруг: Левитт и Дабнер показывают, что экономические принципы можно применить к любым аспектам жизни, от преступности до образования.
Влияние стимулов (incentives): Главная идея книги — поведение людей сильно зависит от стимулов, которые они получают.
Неожиданные связи: Выявляют неожиданные связи между, казалось бы, несвязанными явлениями, такими как снижение уровня преступности и легализация абортов.
Использование данных: Важность анализа данных и использования статистики для получения достоверных выводов.
Для меня книга особенно запомнилась примерами стимулов (incentives).
- Экономические стимулы: Это финансовые или материальные выгоды, которые мотивируют людей к определенным действиям.
- Социальные стимулы: Это общественные и культурные факторы, которые влияют на поведение.
- Моральные стимулы: Это внутренние убеждения и ценности, которые мотивируют людей к действиям, основанным на их этических принципах.
Стимулы очень хорошо ложатся на нашу работу.
Почему новые инженеры работают лучше, чем старые?(кто уже 1-2 года в команде, вот сегодня например уволили такого человека, хотя я сам был таким человеком в прошлом году и скоро расшарю свой PIP документ).
Почему одни инженеры работают хорошо, а другие плохо? (Ведь часто дело не в зарплате)
Почему одни активно учатся и развиваются, а другие нет?
Почему одни пишут хорошие комментарии, а другие пишут плохие?
У меня теперь на любой вопрос 1й ответ это incentive. Вообще вся движуха рабочая это про incentives. Либо они есть, либо нет.
Мне кажется менеджеры особенно тщательно стараются придумать “стимулы” для своих команд🚣
Основные идеи книги включают анализ экономических и социальных проблем с применением нетрадиционных подходов и методов.
Основные идеи книги:
Экономика всего вокруг: Левитт и Дабнер показывают, что экономические принципы можно применить к любым аспектам жизни, от преступности до образования.
Влияние стимулов (incentives): Главная идея книги — поведение людей сильно зависит от стимулов, которые они получают.
Неожиданные связи: Выявляют неожиданные связи между, казалось бы, несвязанными явлениями, такими как снижение уровня преступности и легализация абортов.
Использование данных: Важность анализа данных и использования статистики для получения достоверных выводов.
Для меня книга особенно запомнилась примерами стимулов (incentives).
- Экономические стимулы: Это финансовые или материальные выгоды, которые мотивируют людей к определенным действиям.
- Социальные стимулы: Это общественные и культурные факторы, которые влияют на поведение.
- Моральные стимулы: Это внутренние убеждения и ценности, которые мотивируют людей к действиям, основанным на их этических принципах.
Стимулы очень хорошо ложатся на нашу работу.
Почему новые инженеры работают лучше, чем старые?(кто уже 1-2 года в команде, вот сегодня например уволили такого человека, хотя я сам был таким человеком в прошлом году и скоро расшарю свой PIP документ).
Почему одни инженеры работают хорошо, а другие плохо? (Ведь часто дело не в зарплате)
Почему одни активно учатся и развиваются, а другие нет?
Почему одни пишут хорошие комментарии, а другие пишут плохие?
У меня теперь на любой вопрос 1й ответ это incentive. Вообще вся движуха рабочая это про incentives. Либо они есть, либо нет.
Мне кажется менеджеры особенно тщательно стараются придумать “стимулы” для своих команд
Please open Telegram to view this post
VIEW IN TELEGRAM
❤🔥28🙈1💘1