Все знают про формат TXT, CSV. Но для большых данных лучше всего подходит Parquet. (Это связано с проектами по болишим данным, Hadoop, Spark, Data Lake)

А вот резльтаты сравнения Netflix, они запускали Hive и Presto (SQL движок для Hadoop) на базе Amazon S3 и HDFS (локальный сторадж Hadoop). Они сравнивали производительность TXT, ORC и Parquet.

Dive into Deep Learning
An interactive deep learning book with code, math, and discussions http://d2l.ai/

Привет, вот есть вакансия Data Engineer:

Data engineer в частный российский банк, которому предстоит погружение в классные проекты (не скоринг) по продуктам банка.
Обязанности:
• Развитие хранилища данных на базе Hadoop. Ответственность за построение data lake.
• Помощь аналитикам данных (data scientist) с загрузкой, обработкой и обогащением данных
• Обеспечение соответствия систем требованиям бизнеса и отраслевым практикам
• Разработка новых инструментов и сервисов

Требования:
• Минимум 2 года опыта на аналогичной позиции
• Практические знания стека Hadoop (Spark, Flink, Kafka, Hive, Scoop итд).
• Уверенное владение одним из языков программирования: Java, Scala, Python
• Опыт работы с промышленными SQL и NoSQL базами данных
• Фокус на бизнес-ориентированность в сочетании с аналитическим мышлением.
• Инновационное мышление, открытость к переменам и стремление к совершенству.

Зарплатная вилка 250000 рублей гросс/нетт

писать Варваре Матиссен-Рожковой в телеграм @heinin или на почту varvaram@marksmans.ru

Пример использования snowflake и matillion с инструкцией https://community.snowflake.com/s/article/Getting-Started-with-Snowflake-and-Matillion

“Life is pretty simple: You do some stuff. Most fails. Some works. You do more of what works. If it works big, others quickly copy it. Then you do something else. The trick is the doing something else.”
― Tom Peters

Google Data Engineering *Cheat Sheet*

Для всех любителей создавать модели данных (не предиктивные), а именно модели, диаграммы и схемы, отличный продукт - SQLDBM уже 2 года на рынке, скоро выйдет версия для Snowflake и Redshift. Вот можете посмотреть тур продукта https://app.sqldbm.com/SQLServer/Share/u_Gp72CUN4St73B28Y5yMUGFrngIE8md_DYjF4jNYw0 Жду когда будет для Snowflake/Redshift, будет интересно.

Всем привет, у меня есть прикольное предложение для новичков HR;

Что нужно: 1-2 человека, кто работает с HR или хочет работать в этом направлениие, знание английского (чтобы собеседовать), возможность обновить Linkedin профайл, чтобы написать про Location/Company name.

Задача: Нужно помогать общаться с потенциальными кандидатами. Необходимости их нанимать нет.

Это напоминает чем-то "Мертвые души" Гоголя, но не все так плохо. Живой HR, живые кандидаты, реальный опыт. Главное, что компания виртуально будет казаться больше и солидней, это что-то типа продвижение бренда. Это и есть цель этого упражнения.


Зато вы можете называться Talent Leader, People Operations или как угодно, практиковать анлглийский, и вообще собеседовать кого хотите (junior->Senior Executive) правда в области аналитики. Можно это рассматривать как стажировка удаленная, а даже можно будет выписать справку, что так и так были проекты, есть результаты и тп.

Можно конечно создать вообще левые профайлы, но так-то слишком скучно, а тут можно совместить приятное с полезным.

Если что, пишите в личку @dimoobraznii

Вообще мечта opportunity!

Jeff Bezos опубликовал Letter to Shareholders https://blog.aboutamazon.com/company-news/2018-letter-to-shareholders

А вот видео про склад с роботами https://blog.aboutamazon.com/operations/ever-wonder-how-people-and-robots-team-up-on-your-amazon-order

Амазон думает не только о клиентах с dissabilities, но и дает возможность людям работать и быть нужными. Видео про Майкла, он слепой, но программирует. Я его встретил в Seattle Airoport, когда летел в Boston. https://youtu.be/EjKuY7ql4Ug