Как работают самые крутые компании и что используют для data engineering and data science https://medium.com/@QuantumBlack/deploying-and-versioning-data-pipelines-at-scale-942b1d81b5f5

Прежде чем учить Pyhton, SQL, ML, AI, нам нужно знать английский. Тренируйтесь каждый день. https://youtu.be/tU5Rnd-HM6A

Очень крутой Data Engineer, кто раньше работал в Amazon и создал Amazon Tableau User Group и один из первых использовал Табло в Амазон. Говорит Spark это тема!;)

В качестве Data Engineering Manager вот что он делает в своей компании - "- Re-architected Snowflake & Looker infrastructure for 100% performance improvement of revenue-generating analytics." То есть внедряет cloud native платформу данных (snowflake сделал ребрендинг и теперь они Cloud Data Platform) и Looker не просто для аналитики, а для аналитики которая драйвит ревеню, я же говорил, что он крут!))

В этом что-то есть. Технологии настолько эволюционируют, что большинство задач, которые могут делать сейчас высокооплачиваемые инженеры, будут автоматизированы и упрощены. Это не значит, что такие специалисты не нужны, но точно массовой потребности не будет. Сейчас например специалисты по Hadoop уже узкоспециализированы. Важно понимать общую картину и использовать готовые элементы в публичном облаке. Так же и с ML, важно знать возможности и кейсы, и приминять правильный алгоритм и трактовать его правильно. Не нужно писать свою нейронную сеть, достуточно кликнуть мышкой на нужную модель и помочь ей обучиться на ваших данных.

Эта книжка сейчас в топе!

Вот это действительно круто! В Северной Америке очень развиты стажировки, это называется CO-OP (co-operative education), начинаю с 3го года обучения компания берут студентов на стажировку, специально для это проводятся Career Fair в кампусах университетов.

Стажировка занимает от 4х до 12 месяцев, это full time работа, но вы обязаны вернуться в университет. Я являюсь ментором в University of Victoria для программы, которая обучает Computer Science и entrepreneurship школьников 10-12 класса (7 месяцев). Я им всегда рассказываю, что нет смысла поступать MIT на Computer Science (где семестр стоит 60к US), так как у нас в универе для местных это стоит 7к CAD, и если вы попадете на стажировку в Амазон, это на выходе будет такой же результат, как и после MIT/Harward если вы попали в Амазон. Конечно MIT/Harward больше специализаций, но если нет денег на обучение, то нечего растраиваться.

Сама стажировка это крута, я бы мог только мечтать об этом. Вас учат, вам платят (3к CAD в месяц, это вообще то средняя зп по Канаде), и самое главное вы себя можете проявить и зацепиться. После универа, вас с удовольствием возьмут на работу. Главное, это сфокусироваться на подготовке к CO-OP и знать требования и компанию. Я часто выступаю перед студентами от Амазон, и есть некоторые товарищи кто только и делает, что готовится к этому, и это помогает.

К сожалению моя стажировка прошла на заводе, и меня взяли потом на работу, на тот же завод. Из воспоминаний - играть в Counter Strike, собирать яблоки на территории завода и выжимать из них сок, жарить сосиски на крыше завода и там же загорать. Так как рабочий день начинался в 7 утра, я мог спать практически на любой поверхности и в любом положении.

Мой вуз МГТУ Станкин научил нескольким принципам, почти как Amazon Leadership principles - Deliver Result, Bias for Action, Ownership. Это типа сдать экзамен по сопромату, если вообще его не понимаешь, или по химии, если вообще не готовился через MP3 плеер (Invent and Simplify). Я думаю многие прошли через это. В общем ценность моего российского образования как инженера конструктура практические нулевая, но есть диплом магистра и не законченный Phd которые почетно занимают место в резюме)) И несмотря на все это , мне еще пришлось отдать деньгами долг родине🤪

100 страниц про Grow Hacking, это очень круто пересекается с аналитикой и метриками, которые важны для бизнеса.

Нашел нереально крутой блог мужичка, который создавал Терадата, Гринлан, и походу снова в деле. Начнем вот с этого поста. Не буду лесть в дебри, смысл в том, сейчас distribution architecture это уже стандарт, и никто не используют monolithic. (при создание хранилища и ETL, конечно же мы используем монолит, это больше про Программное Обеспечение). Дядя Роб Клоб пишет, что в 2002 году он и его коллега предложили допилить терадату и сделать distributed foundation. На что продуктовая команада Терадаты, сказала, что они лучше знаю как надо, и ничего не сделали. Чуваки ушли из Терадаты. Такие истории повторяются снова и снова, когда из-за разногласий ИТ и бизнеса уходят крутые кадры, и компания теряет позиции. Так и со Snowflake, чуваки хотели сделать Oracle для облака, но не зашло. Создали свой продукт, теперь #1 Cloud Data Platform.


PS Кто-нибудь Oracle загружал в Azure? Использовали Azure Data Factory?

https://www.amazon.science/ Все про Amazon Science, ML, AI, научные публикации и тп

Существуют NoSQL базы данных, один из типов это Graph. Вы можете полностью использовать такое решение для вашей аналитики. Запись вебинара. https://www.dataversity.net/webinar-graph-data-modeling-in-four-dimensions-outline-differences-artisanship-agility/

Есть идеи книг на 2020? Оставляйте в комментариях. Я планирую прочитать свои книги по консалтингу, которые нашел на сайте Harvard Business Review (McKinsey Way и тд).

Всем привет, моя знакомая Оксана Фомина @OxanaFomina, является экспертом по мобильной аналитике. У нее есть много интересных кейсов по аналитике мобильных игр. Сейчас у нее есть время взять еще проектов, если кому интересно, пишите ей.

Написал пост про последнюю книжку Jumpstart Snowflake. Сегодня еще предложили писать книгу под названием Data Storage for Artificial Intelligence. Я вроде как не хотел больше ничего писать, но это отличная возможность написать что-нибудь по AI, тем более что там только 3 главы для меня - Spark и Big Data.

Как вы поняли, python является одним из главных и удобных языков для анализа данных и инжиниринга данных. Если вы еще не знаете вот еще один канал по Python, вот что они говорят про себя: "Привет! На связи @python_academy. Ты ведь о нас пока не знаешь, да?

За плечами у нас успешные курс по чат-ботам, а также интенсив и курс по Data Science.

Мы не какая-то безликая машина по созданию курсов, мы два простых парня, Святослав и Адриан. Святослав работает дата аналитиком в Европе, специалист по анализу данных. Адриан Full-Stack разработчик и создатель популярных телеграм ботов с большим стажем.

Вместе мы приглашаем тебя на наш интенсив по чат-ботам в телеграм.

Не пропусти 👉 @python_academy"

Хороший дил! Новая книга по Табло для превью https://playfairdata.us14.list-manage.com/track/click?u=5cddb177e419278ce1c1c874b&id=968d10f2e4&e=a66303f2b0