Инжиниринг Данных
20.2K subscribers
1.52K photos
26 videos
175 files
2.81K links
Делюсь новостями из мира аналитики и вредными карьерными советами;)

8 лет в FAANG, инвестиции в недвижимость, компании и акции, solo entrepreneur🏄‍♂️

Контакты и реклама: @dimoobraznii (сам не предлагаю купить рекламу или взаимопиар за деньги).
Download Telegram
Update по #datalearn:
1. Мне осталось 2 видео для модуля 4:
- 4.7 Fancy ETL для on-premise, в котором я хочу рассказать популярные решения на рынке (очень кратко) - Airflow, NiFi, dbt, Luigi, Dagster + попоулярную на отечественном рынке аналитическую БД Clickhouse. Так как у меня опыт с этим инструментами из разряда МНТ (метод научного тыка), то постараюсь импровизировать, впрочем как обычно. Но с удовольствием проведем вебинар по любому из этих инструментов.

- 4.8 Обзор вакансии ETL разработчик. Я хочу еще раз пройти про разницу (которая иногда отсутствует) между вакансиями ETL разработчик. Потом посмотрим требования, примеры вакансий на hh и за границей. Для опытных коллег, я хочу заметить, цель DataLearn дать необходимый минимум знаний для позиции ETL разработчик или для дополнительные знания для позиций BI разработчик или аналитик. Есть еще много вакансий, где используются классические ETL инструменты, реляционных базы данных и SQL. И чтобы начать шарашить pipeline на питоне, нужно понятно как все работает на более простом уровне, и потом уже можно усложнять. Ну это мое мнение. Как обычно welcome послушать опытных инженеров данных, особенно интересно, с чего они начинали.

Так же для модуля 4, Павел Новичков @eXtr1Mo запишет 3 видео (2 лабораторные работы по работе с Pentaho DI, работа с базой данных и использования техник dimensional modelling и обзор итогового проекта модуля 4)

2. Роман @rspon плотно занимается запуском еще 2х курсов для datalearn, которые крайне полезны для начинающих специалистов и они должны закрыть оставшиеся пробелы в подготовке к поиску первой работы в дата мире. Инструкторы уже себя очень хорошо зарекомендовали в сообществе datalearn. Так же на подходе много крайне интересных вебинаров и спикеров.

3. 5й модуль будет про Cloud Computing (облачные вычисления). Я постараюсь собрать информацию по курсам Azure, AWS, примеры лабораторных работ и сделаю его независимым от прошлых 4х модулей. Он поможет нам сделать переход из on-premise решения по аналитики к Cloud. Yandex и Mail вкладывают огромные ресурсы в развития отечественного облака, так что через какое-то время мы увидим большой спрос на таких специалистов. Даже сейчас есть спрос на AWS или GCP специалистов по аналитике на том же hh. И после модуля 5 мы уже перейдем к моей любимой теме - аналитическое хранилище в облаке, spark, озеро данных, Delta Lake и рассмотрим много облачных инструментов AWS и Azure, после чего вы сможете понять всем мои презентации и проекты, которые я делал в облаке.
Ух, как мы мощно начали 2021! Я всегда говорю, главная цель #datalearn - это достижение результата и трудоустройство. Благодаря Анастасии Дробышевей, профессионального консультант по рынку труда и карьерному развитию и ее инициативы мы добавили еще один убойный курс - Поиск работы для аналитических специальностей в России и за рубежом, сокращенно Job Hunting - 101 (JH - 101).

За 10 лет Анастасия провела более 2 000 карьерных консультаций, специализируется на IT/ digital, internet & e-commerce. Использует лучшие международные практики, полученные в работе с крупными американскими компаниями. В 2017 г. переехала из России в Словению, поэтому не понаслышке знает о поиске работы за границей.

Задача курса ー описать весь процесс поиска работы и дать вам инструменты для самостоятельного джобхантинга в любой стране.

Для кого курс:
📌Для кого этот курс?!Учебный курс подойдёт для аналитиков данных, инженеров данных, Data Scientist и других смежных профессий.

📌Вы узнаете о 5 этапах поиска работы от постановки цели до подписания трудового договора.

📌Разберем алгоритмы действий на каждом шаге поиска, каналы поиска работы и технологии нетворкинга.

📌Рассмотрим примеры формулировок в Резюме и профиле LinkedIn, готовые скрипты и шаблоны для переписки.

📌В финальной части обсудим, как говорить о зарплате и улучшить условия оффера.

📌В результате обучения вы сможете самостоятельно искать работу в любой стране и выстраивать процесс под свои задачи.

Содержание курса:
📌Урок 1. Стратегия поиска работы - Как грамотно спланировать поиск и поставить цель, опираясь на реалии рынка труда и свои сильные стороны.
📌Урок 2. Маркетинговые материалы - Как сделать сильное Резюме, настроить профили на LinkedIn и GitHub.
📌Урок 3. Поиск вакансий и отклики - Где искать вакансии в России и в других странах. Что делать, чтобы работодатель вас заметил.
📌Урок 4. Нетворкинг - Как развивать свой личный бренд, дружить с нужными людьми и укреплять социальные связи для успешного поиска работы.
📌Урок 5. Интервью и обсуждение оффера - Что важно на каждом этапе интервью и как себя лучше продать. Что хотят от кандидата FAANG-компаний.
📌 Bonus Track: Как не выгореть в процессе и Чек-лист готовности к поиску

Теперь у вас будет абсолютно все, чтобы
а) найти свою первую работу
б) сменить деятельность и начать работать с данными
в) подготовиться к собеседование в любой точке мира, включая компании FAANG

Регистрируйтесь, общайтесь в нашем Slack и помогайте друг другу быть успешней и лучше!
#datalearn именно за такими success stories я охочусь и мы все в сообществе data learn создаем их каждый день своим трудом и целеустремленностью. Мне нравиться доказывать, что обходными путями можно добиться куда больше, чем просто в лоб как все. Что не надо платить кучу денег за посредственные курсы, когда все бесплатно. И главное, что когда мы помогаем кому-то, то этот человек будет так же помогать другим, своим пример мы можем немножко менять судьбы людей, это дает сил🚀
Про Snowflake я писал не раз и даже общался с компаниями в Москве, кто хочет внедрять технологию. Приходили и рекрутеры, кто хочет специалистов по Snowflake. Так что наш следующий вебинар очень в тему. И он в тему модуля 6 #datalearn про современные аналитические DW. Я бы даже отнес его к Lakehouse.

https://youtu.be/XJa3gGWidg0

Из нашего slack:

Мальчишки, девчонки, а также их родители, про Snowflake историю в понедельник 8 февраля в 20:00 по мск послушать не хотите ли? Николай Голов подготовил отличный доклад. Ему есть чего рассказать и чему поучить!

Как всегда всем быть, те кто смотрит лекции будущие Олимпийские чемпионы в дата мире
😊
🔔 Что нужно сделать:
📌 Перейти по ссылке и поставить колокольчик, чтобы в понедельник не пропустить
📌 Отложить все дела на понедельник
📌 В понедельник в 20:00 быть на вебинаре

И ПОДПИШИТЕСЬ НА НАШ ЮТУБ
Ещё один студент #datalearn нашел работу. До этого у него был небольшой опыт с Экселем и данным. Он работал с маркетинговыми кампаниями. Из 12 собеседований он получил 4 оффера. Я очень рад за человека, которые поставил цель и добился, даже несмотря на первоначальные неудачи и провалы. Вот его словами:

Дима, привет! Хочу выразить благодарность тебе и всему сообществу даталерн! Почти месяц прошёл с тех пор, как я на новой работе. Работа нравится, связана с обработкой и хранением данных, как я и хотел изначально. По ЗП тоже не обидели.

Но не скажу, что это было легко :) Кучу нового пришлось изучить, а еще больше приходится изучать уже на работе) Но, как говорится, дорогу осилит идущий.


Записался на курс одним из первых, когда он только стартовал в июне или конце мая, точно не помню. Скорее так, для общего развития. Про sql если что-то и знал, то это select звездочка. Слова data warehouse, кимболл, звезда - все это звучало для меня, как клингонский.
Но потом ничего, втянулся. Ты понятно объясняешь и самое главное дал мне понимание всей картины, как это работает вместе. Кто есть кто в команде по работе с данными и зачем вообще это нужно.
По отдельным инструментам вроде sql, tableau , bash и питона я уже отдельные курсы гуглил и их проходил, благо их навалом.

Оглядываясь назад, дал бы себе следующие советы

1. Выбрать что тебе ближе bi, data engineer, аналитика данных, data science и. т. д и сфокусироваться на этом.

2. Чем раньше начнешь ходить на собесы, тем лучше. Быстрее поймешь чего не хватает, правильнее расставишь приоритеты в обучении. Мысли вроде, да я ещё подтяну это или то, тогда начну ходить - это все отмазки мозга, чтобы не вылазить из зоны комфорта. Идеального момента никогда не будет, всегда будет чего то не хватать. Еще и забудете, что учили ранее.

3. Любая информация забывается, если её не повторять и нигде не использовать.
Я три раза курсы по базовому sql проходил. Три раза за неполный год Карл! А потому что на старой работе он был не нужен, а перечитывать теорию мне было лень. Только, когда начал пилить свои пет проекты, где использовал sql и складывал их на гитхаб, тогда в памяти начало что-то откладываться. Отсюда ещё одна рекомендация

4. Заведите репозиторий на гитхабе и скидывайте туда свои проекты. Или дашборды в табло паблик, смотря чем решили заняться. Прошли курс- сделали проект. Так и в памяти лучше отложится и на собеседовании можно показать. И на работе пригодится, если попадется похожая задача, то сэкономите время, будете хоть понимать куда копать
У #datalearn ,есть небольшое сообщество девушек. Недавно они взяли интересное интервью с Ксенией Певзнер, она - руководитель по маркетинговой аналитике самого крупного российского легального онлайн кинотеатра “Окко”
https://youtu.be/jOQXozaOYuo
Беседа об аналитике, жизненном пути, необходимых компетенциях и многом другом.
У нас есть страничка в Facebook. Там мы публикуем те же материалы, что и в телеграм канале или тут, но возможно вашими лайками и репостами мы сможем рассказать о #datalearn новой аудитории. Если не сложно подписывайтесь. https://www.facebook.com/groups/datalearn/?ref=share и можете отмечать страничку, когда будете шарить сертификат или свои успехи в обучении.
Ещё один отзыв от человека, который получил необходимые навыки и знания на ресурсах #datalearn. Сегодня он мне написал, что недавно вышел на отличную работу и отличной зарплатой. Так, что все в ваших руках! У вас есть все необходимое.

Вот его словами:
Если прям кратко, то ситуация такая, в июне 2020 я встретился с DataLearn и подсел, в самом начале одно из самых полезных было то, что я понял роль аналитики и данных в целом, плюс некоторые вебинары заходят на ура) спустя некоторое время нашёл работу системным аналитиком в разработке продукта в ритейле, на зарплату +- среднюю для старта, спустя 7 месяцев опыта, самообучения по вечерам и в свободное время(~10 часов в неделю, это на вскидку) мне удалось получить оффер с доходом ~2,5 раза больше.

По навыкам ещё, курс Анатолия прекрасен, помог шлифануть то, что было) (примечание Анатолий создал лучший русскоязычный курс по SQL)

Собеседование было единственное, у меня не было в планах менять работу в ближайшее время, помог нетворкинг) в целом с SQL, Tableau/PowerBI работу можно найти быстрее, чем Танос щёлкнет пальцами, но если подкрепить это питоном, то работа найдёт тебя сама)

Всем успехов и никогда не сдавайтесь)
А вот ещё один отзыв #datalearn ! И это мы ещё только половину сделали из запланированного контента.




Хочу поблагодарить тебя за твой крутейший образовательный проект! Благодаря нему я услышал про дивный мир дата инженеров, вдохновился, начал проходить курс, приобретать новые знания и подтягивать имеющиеся неструктурированные.
В итоге сменил сферу деятельности на ту, которая меня больше драйвит и выглядит более перспективной: продуктовая/ BI аналитика в одной из топовых IT компании РФ, цифровыми продуктами которой большинство из нас пользуется регул(Я)рно.

Не скажу, что я "ворвался в IT", т.к. до этого я уже был системным\бизнесовым аналитиком (тем самым "бизнес-аналитиком", быть которым у нас в РФ означает что угодно).
Тем не менее, сдвиг парадигмы произошел значительный (крупнейший за последнее время), задачи теперь более осмысленные и ежедневная деятельность ощущается по-новому!
Если вам интересно с чего начинается история cloud computing - то вот она. В 1961 году профессор John McCarthy сказал в MIT: “Computing may someday be organized as a public utility just as the telephone system is a public utility, Each subscriber needs to pay only for the capacity he actually uses, but he has access to all programming languages characteristic of a very large system … Certain subscribers might offer service to other subscribers … The computer utility could become the basis of a new and important industry.”

#datalearn модуль 5.2 все еще в процессе🥸
Прошли курсы #datalearn с модуля 1 по 4 или любой из них? А может быть заканчиваете курс по SQL или DS&ML? Не забудьте себе выбрать сертификат от Data Learn на Linkedin! 🤫
Сегодня наконец в slack перевалило за 3000 пользователей, и значит пора собрать статистику о проекте datalearn. Сам по себе проект интересный и полезный для меня и других людей, кто вовлечен. Это отличный опыт, и отличная площадка для проверки гипотез, развитие скилов leadership и emotional intelligence. Тут можно быть самим собой и делать, что нравится.

Если кратко #datalearn работает на все 100:
- Контент полезный и применимый
- Обхват весь мир, опыт и знания отлично подойдут для работы в Северной Америке, Европе или Азии
- Методологий подготовки специалистов с 0 выкристаллизовывалась и вырабатывалась лет 8, видео курс это результат проб и ошибок
- Уже не раз доказано, что можно выучиться и найти работу, даже если вы не знаете, что такое SQL (как я на моей первой работе) в роли BI
- Наши вебинары очень крутые и у нас есть возможность дотянуться до самых крутых специалистов по всему миру
- Сообщество растет и помогает друг другу

Минусы тоже очевидны:
- проблемы со звуком
- проблемы с видео или качеством оформления заданий
- опечатки, ошибки и многое другое

Но это не страшно, так как полезность перекрывает.

Slack: 3009 пользователей
Youtube канал: 4530 подписчиков и мы не используем рекламу
Telegram 7651 подписчик, главный контрибьютер это курсы datalearn, на 2м место это habr, поэтому все компании так любят там писать перевод статей, чтобы привлечь трафик. Для меня хабр это не трафик, это отличная площадка донести свои идеи. Фуфло и платные курсы там не предлагаем😇 Кстати на каждые 3 новых подписчика 1 отписывается, вообще мне кажется формат телеграмм каналов сходит на нет. Слишком много информации, просто цунами, и уже наш мозг устал скролить новости и бежать за самыми свежими и актуальными трендами и новостями. Но мы успеем доделать курс до конца, а там уже как повезет.
Vsevsevmeste фонд - перевели за рекламу на канале уже почти 100т рублей.
Facebook всего 120 подписчиков (была гипотеза использовать сарафанное радио в social, но не очень работает)
Linkedin 285 (аналогично fb)
Мой instagram 319, но и контентам там нет особо))

Про курсы:
На #DE-101 записалось 3000+ людей
1 модуль закончило (заполнили опрос в конце): 210
2 модуль закончило: 46
3 модуль закончило: 4
4 модуль закончило: 1

Ммммда, воронка так себе🥺.

Курс: #DS&ML-101 (Анастасия Риццо): 441 - и это самый подробный и качественный вводный курс с практическими заданиями в рунете! Бесценно!
Курс: #SQL-101 (Анатолий Балакириев): 315 - и это самый крутой SQL курс на русском, а его поддержка студентов лучшая в мире! (без шуток)

У нас уже прошло много вебинаров и еще больше будет. Роман Пономарев прикладывает максимум усилий, чтобы вы могли получать самые интересные вебинары. А без его обложек, наш контент совсем не контент!

Есть у нас и женское сообщество (Яна Конн и Яна Одинцов): 177 девушек зарегестрировалось.

Даже есть замечательная возможность поддержать меня через paypal, patreon или yoomoney, за год набралось 110$ на патреоне и 72$ на paypal.

PS создавая образовательный курс в области аналитики, я мониторил много РФ школ и западных школ. Эти школы - это бизнес. Их главная задача это зарабатывать деньги для владельцев. У них отличный маркетинг и они умеют использовать hype слова для привлечения траффика. Они с радостью вам продадут мечту за 100т рублей, но в договоре маленьким шрифтом будет надпись, что они не несут ответственности. Так же я примерно представляю сколько стоит создать курс. Например мне предлагали 100т рублей за курс по DE. По опыту могу сказать, что трудозатраты и вознаграждения несопоставимы. Лично я не доверяю всем этим школам. Единственная, которая мне импонирует это Яндекс Практикум, там много специалистов из индустрии и самого яндекса и, надеюсь, что их KPI не прибыль, а кол-во нашедших работу.
Всем привет, завтра (8 февраля) в 20:00 по мск вебинар.
Тема: Дата инжиниринг для ML глазами продакта.
Спикер: Андрей Менде
Андрей уже не первый раз у нас в гостях так что приходите послушать
Ссылка навебинар: https://youtube.com/live/YDy6LWr8GOo?feature=share
Время может поменяться следите за обновлением.
#вебинар #datalearn
Всем привет, завтра (9го февраля) в 20:00 по МСК вебинар.
Тема: FineBI
Спикер: Ruslan Sharifullin из BI Consult.
Ссылка: https://youtube.com/live/OMtI9CpPSug?feature=share
Вкратце: Покажем обработку данных на датасете, как из грязных данных получить чистую витрину.

Примечание: Время может немного изменится, следите за обновлениями, ах да, это все от Сергея Громова, очень классно что на DataLearn приходят знаменитые компании и личности)))

Ссылки на ресурсы ребят:
https://finebi.datafinder.ru/ - онлайн спринт-обучение по FineBI
https://www.youtube.com/@bifinebiqliksensetableaupo6294/featured - ютуб канал про FineBI
https://datafinder.ru/products/uchebnyy-kurs-po-finebi-obuchenie-finebi-prakticheskie-zadachi - бесплатный учебный курс по FineBI.

#вебинар #datalearn
Друзья всем привет!
В среду (29 марта) в 20:00 по мск вебинар.
Спикер: Алена Артемьева
Расскажет про мифы и реальность в профессии, кому не нужна аналитика и про выгорание.

Ссылка на вебинар:
https://youtube.com/live/VfiXqncbp4U?feature=share

Для понимания уровня спикера:
Директор по аналитике, Data Science и исследованиям в Работа.ру
Более 20 лет в аналитике и более 10 лет в управлении командами
Работала в компаниях: Работа.ру, Biglion, Утконос, Альфа капитал.
Преподаватель во многих известных онлайн школах, а также спикер профильных конферененций:
Go Analytics, MateMarketing, Marketing One

Контакты спикера:
https://ru.linkedin.com/in/alenaartemeva
vk.com/alena_artemeva

От себя скажу что было очень сложно договорится о вебинаре, так что приходите послушайте очень умного человека.

#вебинар #datalearn
Друзья всем привет!
Завтра (12 апреля) в 19:00 по МСК вебинар.
Спикер - Рустам Агамалиев.
Ссылка на вебинар:
https://youtube.com/live/c7ry9G3o5rw?feature=share

Поговорим о развитие ИИ от идеи до нейронных сетей.
В том числе затронем тему Chat GPT и влияние его на образование.
Отмечу что Рустам не эксперт в ИИ, а исследователь, что немало важно и надеюсь выступление поможет не экспертам в ИИ взглянуть в эту область.

Рустам уже не первый раз у нас выступает и его доклады очень полезны для развития.
Так что приходите будет интересно :)
Статья из-за которой я попросил выступить Рустама:
https://zttl.space/t/razvitie-ii-ot-idei-do-nejronnyh-setej-evolyucziya-pedagogicheskoj-i-uchenicheskoj-deyatelnosti/1903

📕 Ссылки на ресурсы спикера:
🔗 Канал в телеге: https://t.me/Zettelkasten_ru (https://www.youtube.com/redirect?even...)
🔗 Цифровой сад: rustamagamaliev.ru
🔗 Форум: zttl.space

#datalearn #вебинар
Всем привет!
Сегодня в 20:00 по мск вебинар!
Тема: Гринкарта
Спикер: Roman Gailit
Ссылка: https://youtube.com/live/KGx2Ldn_lRI?feature=share

О чем поговорим:
Роман расскажет как получал гринкарту, даст советы, тем кто получил, расскажет про US.
Бонусом обсудим GPT в целом и вскользь, технический опыт работы с ним (пролог к следующему вебинару)

Канал Ромы:
https://t.me/roma_reporting

#datalearn #вебинар
📢 Привет, друзья!

Завтра (12 июня) в 20:00 по мск вебинар.

🎯 [Тема вебинара]: Game Changer: Переход из BI в мир игр

🔎 Спикер раскроет перед вами свою новую главу жизни, когда она решила покинуть мир BI и основать свою собственную студию настольных игр. Вы услышите о ее вдохновении, столкновениях с трудностями и экономической стороне ведения бизнеса. И самое интересное, вы узнаете, как ее знания и опыт в аналитике помогли ей успешно применить их в новой и увлекательной сфере.

📌 Ссылка на вебинар: https://youtube.com/live/7byO0N-aIJY?feature=share

До встречи на вебинаре! 💪💼
#вебинар #datalearn
🔔 На нашем канале DataLearn новое видео (да не прошло и пол года😊)

📕К нам в гости пришли ребята из WikiBot, которые создают сервис по созданию чат-бота с искусственным интеллектом для общения с клиентами.

Спикеры: Сергей Христолюбов и Роман Чуприков

Цель ребят - сделать простое решение которое позволяет компаниям сократить расходы на зарплаты технической поддержки и уменьшить среднее время ожидания ответа.
Выступление будет включать большие языковые модели, LLM, а также как работать с ботом его исходники и пояснение.

В докладе ребята оставили просто огромное количество ссылок, для тех кто хочет разобраться в языковых моделях.

🔥Инфа в общем очень сочная и актуальная.

Переходи и смотрите:
🔗 https://www.youtube.com/watch?v=8IRKx3d7tZY

Ссылки на ребят:
🔗https://WikiBot.tomleto.pro

Контакты:
🔗https://t.me/tom_leto
🔗https://linkedin.com/in/khristolyubov

#вебинар #datalearn
🚀
Анонс Вебинара: "Разработка data приложений на DuckDB"🚀

Давненько не было.... уверен ждали)))

📅 Дата вебинара 4 апреля в 7 вечера по мск

🎙Спикер - Роман Зыков.
Очень крутой спец, который уже дважды выступал у нас 🎙

🔗 Ссылка на вебинар:
https://youtube.com/live/biyPV-4glN4?feature=share

Мы всегда ищем способы сделать инженерию данных проще и удобнее. Роман Зыков создал полностью рабочую систему, которой хочет поделиться с вами!
При этом он отказался от использования знакомых инструментов.

🔍 Что мы обсудим на вебинаре:

🔸Почему выбрал DuckDB для разработки data приложений, отказавшись от привычных инструментов.
🔸Как построил полностью рабочую систему с базой данных, dbt, и оркестратором для ежедневного обновления данных без использования облачных сервисов.
🔸Живые примеры и исходные коды проекта.
🔸Управление данными с помощью DBT и Prefect.io.

👨‍💻 Приходите на вебинар, если вы хотите:
• Узнать, как использовать DuckDB для создания эффективных data приложений.
• Познакомиться с бесплатными инструментами для инжиниринга данных.
• Вдохновиться реальным проектом и увидеть, как можно управлять данными без облаков.


#datalearn #вебинар
Please open Telegram to view this post
VIEW IN TELEGRAM