Инжиниринг Данных
23.4K subscribers
1.91K photos
57 videos
191 files
3.16K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
Роман Пономарев подготовил новый вебинар с главным российской экспертом по Tableau Романом Буниным💪:


Друзья, у меня для вас приятная новость.
В понедельник вебинар, с уже любимым нами Романом Буниным. Те кто с нами давно прекрасно знают Романа, а для тех кто недавно: Роман крутой специалист по визуализации и Табло и руководит командой визуализации в Яндекс Такси. Так как многие из вас успешно не сделали домашнее задание по 3му модулю, которое давал Роман Бунин, мы решили дать вам время реабилитироваться и сделать не менее полезный вебинар:

Адаптивная верстка дашбордов в табло
Чтобы дашборды классно работали на экранах разного размера нужно уметь делать правильные настройки дашборода и контейнеров. И речь не только о верстке для мобильного и ноутбука, а о разных размерах мониторов. На вебинаре разберём как правильно настроить размер дашборда, как использовать функционал контейнеров и как сверстать мобильную версию дашборда в Табло.

Что нужно сделать:

📌Перейти по ссылке и поставить колокольчик, чтобы в понедельник не пропустить
📌Отложить все дела на понедельник
📌В понедельник в 20:00 быть на вебинаре

Кто не смотрел предыдущий вебинар, посмотрите там ай-я-яй какая польза

В общем приходите будет очень интересно😏
https://youtu.be/GE1czOiI-8o
Банк ВТБ в поиске опытных тестировщиков и аналитиков в Москве, Самаре и Санкт-Петербурге!

Работаем в кросс-функциональных командах, в каждой из которых собрано максимум компетенций для создания лучших цифровых продуктов. Никаких длительных согласований — ответственность за продукт перед клиентом и руководством полностью несет команда и ее лидер. Это позволяет реализовывать смелые проекты в кратчайшие сроки. Больше проектов – больше шансов проявить себя и построить карьеру!
 
Присоединяйтесь, если аналитический подход и внимательность — ваш девиз по жизни!

Москва:
QA инженер
Системный аналитик

Самара:
Тестировщик (функциональное тестирование, брокерские услуги)
Тестировщик (атотестировщик)
Аналитик обязательной отчетности
Системный аналитик
 
Что нужно уметь:

➡️Тестировать:

📌           Опыт работы в функциональном и/или интеграционном/автоматизированном тестировании ПО от 2-х лет;
📌           опыт тестирования WEB приложений и сервисов (желателен опыт тестирования банковских продуктов).

➡️Организовывать процессы:

📌           Опыт работы c JIRA, Confluence, GIT/SVN, HP ALM (или аналог);
📌           знание техник тест-дизайна, опыт написания тест-кейсов и их приоритизация.

➡️Анализировать:

📌           Понимание реляционной модели данных, знание SQL на уровне, достаточном для выполнения запросов и понимания хранимых процедур;
📌           понимание принципов работы клиент-серверных приложений, REST API, SOAP;
📌           навыки анализа логов и выяснения root-cause ошибок.
 
Что вы получите:

📌 фокус на развитие: hard skills в рамках современного технологического стека.
📌 интересные задачи: более 150 крупных проектов и свыше 12 000 внедрений в год. Каждая задача — реальная потребность бизнеса.
📌 карьерный рост: возможность выбора направления для роста и развития. 1100 команд — найдите свою по духу и задачам.

Оставляйте отклик и присоединяйтесь к команде, которая создает банк будущего для миллионов людей!

PS: Это от них ушло 10т для vsevsevmeste.ru
Роман Бунин закончил вебинар - Адаптивная верстка дашбордов в табло. Весь контент от Романа это вверх профессионализма. Если вы работаете с дашбордами, я вам очень рекомендую просмотреть всего его вебинары. Помимо datalearn, Роман успел выступить в Vancouver Tableau User Group и Amazon Tableau User Group.

Так же он сделал дашборд для DataLearn, где его вебинар - Дашборд Канвас опережает все другие видео в несколько раз по просмотрам😎

Добавьте к себе в закладки сегодняшний вебинар и обязательно расшарьте в социальных сетях!
У data learn пока нет сертификатов, но обязательно будут. Пройдет время, и студенты datalearn будут котироваться. Когда мы создаем сообщества, они растут очень медленно, но у них самый высокий ROI. Когда вы помогаете одним людям, они потом помогают другим, и так кирпичик за кирпичиком, создается, что-то стоящее. На платной основе такое сложно сделать, так как создание курсов datalearn это творческий процесс, нужно вдохновение. Поэтому идет медленно, идеи должны кристаллизоваться и дорасти. Как показывает дашборд с YouTube, у нас отличный сентимент и высокое качество контента.

Мне очень нравиться концепция бейджей у вендоров, поэтому теперь и у datalearn будут бейджи. За каждый модуль и выполненное ДЗ вы получаете бейдж, за 12 бейджей - вы получаете сертификат.

Мне кажется к окончанию курса datalearn будет более узнаваем и добавит весу при устройстве на работу🤙
Недавно узнал про Coding интервью FizzBuzz. Оказывается известный термин в кругах программистов. Вот статья. Статья написано в 2007 году, когда еще не было whiteboaring, screen sharing и тп. Мужик задумался над вопросом, что про резюме вроде опыт хороший и история опыта красивая, но инженер не умеет писать код, и нужно проверять именно написание кода. Так же он пришел к выводу, что достаточно проверять простые базовые вещи. Нет смысла проверять сложные алгоритмы (кстати так делает Facebook на собеседовании для инженеров данных). Он вспомнил школьную игру - FizzBuzz, где нужно говорить Fizz, если число делится на 3, Buzz, если число делится на 5 и FizzBuzz если на 3 и 5. Поэтому он стал просить кандидатов написать программу, которая будет это делать.

Write a program that prints the numbers from 1 to 100. But for multiples of three print “Fizz” instead of the number and for the multiples of five print “Buzz”. For numbers which are multiples of both three and five print “FizzBuzz”.

Как оказалось много выпускников не могли справиться с таким заданием.
Китайцы серьезно прокачивают свое облако. Вашему вниманию предлагается Real-time data warehouse - Hologres (не путать с Postgres).

Если вы любите копать вглубь, то вам тогда нужно прочитать paper.
Lakehouse = DW + Data Lake.

Примеры lakehouse:
- Redshift + Redshift Spectrum
- Snowflake
- Databrics Delta Lake
- Azure Synapse Analytics

Попался очень интересный paper, который был только недавно опубликован основателями Databricks.

This paper argues that the data warehouse architecture as we know it today will wither in the coming years and be replaced by a new architectural pattern, the Lakehouse, which will (i) be based on open direct-access data formats, such as Apache Parquet, (ii) have first class support for machine learning and data science, and (iii) offer state-of-the-art performance. Lakehouses can help address several major challenges with data warehouses, including data staleness, reliability, total cost of ownership, data lock-in, and limited use-case support.
Оказывается у мужских коллективов есть название: https://en.m.wikipedia.org/wiki/Bro_culture
Аналитическое решение = data product. В статье автор дает Best Practices for Data Engineering. Это все хороше иметь, но можно не в первую очередь.

- Version Control
- Automated testing and deployment
- Make and keep data available
- Test and communicate data quality
- Share best-practices with colleagues
- Build immutable datasets

В общем Unit Tests + DevOps помогут сделать решение более качественным.
Не знаю почему они решили уголь, наверно это исторически, всем кто плохо вел себя, Санта уголь приносил. Кстати русским детям в Канаде везёт, получают подарки на кристмас (то есть сегодня) и потом ещё на новый год))
Самое крупное сообщество Microsoft - PASS (множество user groups, meetups, workshops, conferences ,SQL Saturdays and so on) объявило о своем закрытии. Я выступал несколько раз на их митапах и онлайн митапах, так на SQL Saturdays, так же на одной Rock Your Data, была спонсором(решил поддержать организаторов). Такого крупного сообщество больше нет, они делали очень много для мира Microsoft, жалко, что не пережили. И странно, что Microsoft не поддержал своих адептов. Но это говорит о том, что их подход устарел и их бизнес модель не работает. Нельзя использовать тоже самое, что было хорошо 10-15 лет назад. И когда, что-то умирает, на его месте вырастает, что-то другое, интересно, что будет. Ну и ждать помощи от вендора бесполезно, нужно рассчитывать только на себя.
Слышали про Monte Carlo simulation? Ее можно сделать в эксель. Я читал про это в книге How to measure anything. Кстати автор книги выступал у меня в Amazon BI Tech talks. У него ещё есть интересный метод - правило 5, почти фокус, но статистически правильный.