Инжиниринг Данных
23.4K subscribers
1.91K photos
57 videos
191 files
3.16K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
Познакомился сегодня с Sigma BI https://www.sigmacomputing.com/. Эта такой Cloud Native BI, их главная фишка, что это буквально Excel. Это и есть их главный Sales Point, 90% пользователей знают excel. Продукт конечно пока слаб, нет InMemory возможностей и визуализация слабая. Ценообразование тоже инверсно - 300$ админ в месяц, 100$ разработчик, и все Viewers бесплатно. Предложил им выйти на Канадский рынок, у них как раз есть бюджет на мероприятие.
Все больше материала про коллаборации data scientists, data engineer и data platform. Вот новый whitepaper от Microsoft на эту тему. А какая команда у вас? Один человек "швейцарский нож" или ваше руководство понимает о необходимости специализации и коллаборации?
На хабр, мне написал Максим, автор подкастов про DWH. Он зачитатет статью про data lake. У него уже несколько выпусков есть, классно получается и главное от души👌
Интересный момент, многие слышали про GPU? Попалась статья (короткая) на хабр, про Big Data с GPU. Там есть описание некскольких коммерческих решений, из которых я только знаю Kinetica. Благодаря развитию и демократизации технологий, мы можем теперь попробовать запустить наше классическое решение на виртуальной машине с GPU. И мы получим, серьезные вычислительные мощности. Обычно мы используем такие инстансы для ML/DL. Но что, если попробовать запустить open source Spark или Pentaho Data Integration (ETL) или может BI? Если кто пробовал запускать традиционные решения на GPU, расскажите про ваш опыт. Я бы хотел запустить ETL на GPU, и проверить насколько быстрей трансформации. Но проблама с передачей данных по сети никогда не уйдет.
#book
Мне подсунули книжку автора "Богатый папа, бедный папа" Когда я давно читал (точнее слушал книгу) про пап, то было интересно, но сложно применимо к российским реалиям. Потом я слушал его другую книгу про квадранты, и я усвоил только одну вещь - существует квадрант:
E - employee, это мы работаем за зарплату
S - self employed, это мы работаем на себя, но нам платят по часам, мы не работаем, нам не платят. Нет отпуска и выше риски, я это называют contracter/freelancer.
B - business owner, тут понятно. Есть бизнес, который сам живет. Очень часто мы путаем S и E. Уволиться с работы и работать на себя это не бизнес, это самозанятость, это не масштабируется и часто мы возвращаемся к E.
I - investor, ну это когда все хорошо, мы понимаем как работает B, как управлять деньгами и при этом есть деньги.

Я запомнил на всегда про B и S. И создавая консалтинг, я хочу избегать S, и фокусирусь на B, но не хватака опыта дает о себе знать. В конце концов это будет мое бизнес образование, где мне платят, если я выучил урок, и где я плачу за свои ошибки. Это развивает networking, помогает больше практиковать английский (вы думаете работать инженером, нужно много говорить? не нужно, язык быстро теряет способность быть fluent).

У меня даже уже идея появилась. Когда была золотая лихорадка на Юконе (северная провинция Канады), и умные люди в Сиэтле решили заработать, они сказали, что Сиэтл это ворота в Юкон (хотя до Мексики ближе чем до Юкона), и к ним хлынуло куча золотоискателей. Бизнесмены в Сиэтле никогда не были в Юконе, но при этом продавали все необходимое, включая собак с упражками (но не хаски, а дворняг), и другие прибамбасы вместе с лопатами, заработали хорошо. Это как продавать франшизу. Вам продают лопату, и вы идете искать золото, не факт, что вы разбогатеете, но на вас точно заработают. Так я уже подумал, что мне надо продавать, услуги и тренинги по созданию своей аналитической компании🤣🤣

Я на самом деле хотел написать про книгу, которую сейчас читаю, и я действительно нашел ее очень полезной! FAKE: Fake Money, Fake Teachers, Fake Assets: How Lies Are Making the Poor and Middle Class Poorer

В 1ой главе, сразу говорят вам, что в 1971 президент Никсон отменил золотой стандарт. И объясняют вам, почему он это сделал, и как это повлияло. И дальше он рассказывает, про современные финансовые инструменты, это все fake. Сток? Акции и тп. В общем если вы хотети быть более грамотными в финансовом плане, очень рекомендую. Книга 2018 года, то есть очень свежая. Лично я теперь думаю о том, что бы обменять половину моего Amazon Stock на золото или серебро. Если читали, поделитесь идеями.
Я сейчас лечу из Сиэтла в Бостон, очень классные авиалинии JetBlue. Хороший бесплатный интернет. Все смотрят super bowl. Это ежегодный чемпионат по американскому футболу. Я не фанат, но сегодня впервые покажут новую рекламу Alexa. Это одна из самых дорогих рекламных площадок. А для вас я и так покажу, наслаждайтесь.

Кстати показали, что 30 секунд рекламного времени стоит 5,6mln$.

https://youtu.be/trfbpONj3dk
Researchers spend a great deal of time reading research pa-pers. However, this skill is rarely taught, leading to muchwasted effort. This article outlines a practical and efficientthree-pass methodfor reading research papers. I also de-scribe how to use this method to do a literature survey https://web.stanford.edu/class/ee384m/Handouts/HowtoReadPaper.pdf
Мы часто слышим, что в ИТ можно без образования. Я тоже так считаю, но это для Северной Америки, в Европе считают по другому. Во-вторых вопрос, нужен ли диплом, чтобы вырасти в более серьезные должности как Директор или VP. Наверно ответ, зависит от компании, в современных компаниях (facebook, tesla, twitter и другие) возможно нет. Вот картинка как раз про это, Маск, говорит не нужно. На выходных был день открытых дверей в University of Victoria. Я поговорил со студентами из кружка, кто построил подводную лодку велосипед. Он рассказал, что Тесла только берет на работу инженеров из таких университетских кружков, по крайней мере тех, кто занимается электромобилями и батареями. А вы как считаете?
Если кому-то попадалась PDF скиньте плиз или сами прочитайте, отлично про облака рассказывают. https://play.google.com/store/books/details/Todd_Hoff_Explain_the_Cloud_Like_I_m_10?id=utlwDwAAQBAJ
В pdf попалась моя книжка - Tableau Cookbook 2019. Тут есть информация интересная про Tableau Prep, Tableau+Python/R и для Data Science. Tableau для Big Data (Hadoop(Amazon EMR)+Hive, Redshift, Snowflake), Tableau + ETL best practices и все остальное про Tableau.
Forwarded from Дашбордец
anoshin_d_et_al_tableau_2019_x_cookbook_over_115_recipes_to.pdf
19.5 MB
anoshin_d_et_al_tableau_2019_x_cookbook_over_115_recipes_to.pdf
Не давно я писал про Synergy Digital Forum. В итоге я согласился у них выступать - с темой Data-driven Business at Amazon Scale или Data-driven Marketing at Amazon Scale. Так же договорились в марте провести вебинар (17 марта), я думаю расскажу про создание современной аналитической платформы (для маркетинга) на AWS. Я понимаю, что немного не по адресу будет, но пока на другое фантазии не хватает.
Из рабочих будней в Амазон:
Я: Дорогой, менеджер, за 4 года, моя зп не росла, мне не хватает денег. Есть ли варианты?

Менеджер: Я не могу тебе посоветовать как лучше распоряжаться своим доходом, это полностью твое дело. Я полагаю, что Амазон можете помочь тебе найти финансового советника, который поможет тебе лучше планировать свое финансовое положение. (это просто не моя специализация).


🤦‍♂️🤦‍♂️🤦‍♂️