Теперь будем еще быстрей писать код и искать ответы на свои вопросы с chatgpt4 🤖 (ссылка на запись с developer livestream open ai)

В ближайшее время я отключу комментарии. Я очень их люблю, но это для меня самой большой источник прокрастинации. Думаю для вас тоже:) Прошу понять и простить.😊

У нас остался для общения чат Инжиниринг Данных, где можно все это дело обсуждать по необходимости и чат Datalearn.

Alfa Cloud Day Meetup: облачные технологии в финтехе

На митапе вы узнаете, как в Альфе внедряли новый облачный подход, как перенесли 200 сервисов и не останавливали их работу и что важно учесть при миграции

Когда: 22 марта в 18:30
Где: офлайн в Москве, Андропова пр-т, 18, к. 3, Альфа-Банк, Конгресс-холл или онлайн

Что вас ждет:

🌦 Максим Чернухин, Senior Software Architect, расскажет о положительных и отрицательных сторонах использования облака, а также о нюансах, которые стоит учесть

🌦 Дмитрий Кузнецов, Head of Application Security, расскажет о безопасной миграции в облако

🌦 Дмитрий Гадеев, Site Reliability Engineer, и Максим Малыгин, Head of IT Infrastructure Support Department, поделятся своим опытом внедрения «облачного» подхода в Альфе

🌦 Светлана Вагнер, Cloud Product Owner, расскажет, как бизнесу показать преимущества cloud-технологий, как использовать их для ускорения бизнес-процессов

Зарегистрироваться

#реклама

Смеюсь с треда. Оказывается, слово дэшборд идет от такой панели в лошадиных повозках, которые защищали сидящих в ней от грязи.

The word "Dashboard" comes from the board on the front of a horse carriage which prevents mud from kicking up on the passengers as the horses are "dashing" through the dirt.

> So I guess today, we can call a dashboard an overview of dirty data that is being kicked up from the database.

>> It's the only thing separating the user from the horse's backend.

Лежит в этимологии на Википедии, оказывается Рома уже даже про это рассказывал, с шуткой про horse’s backend точно запомню))

Amazon таки выпустил свой спутниковый интернет - Project Kuiper. Возможно скоро удаленная работа будет более удаленная с Amazon и Starlink.

Как актуально! Я бы еще добавил несколько кнопок, “купить золото/серебро”, купить недвижку и далее по списку. Как не крути, конечный пользователь всегда будет должен. А некоторым, еще надо - “сначала найти работы после недавнего layoff”

2 анекдота, которые идеально подходят, чтобы

А) описать подход к поиску работы, особенно это касается застенчивых, неуверенных в себе кандидатах.

Б) описать попытки руководства повысить эффективность команды и нежелание этого самого руководства признать, что они не очень шарят, что делают. Я бы еще добавил цитату Масяни «Директор? Да пошел ты в жопу директор… не до тебя»

А вот и анекдоты, какой А, а какой Б, вы догадаетесь сами😂

Офис, в отделе продаж все суетятся, переставляют мебель с места на место, посреди всего этого хаоса стоит бабушка уборщица и бормочет про то что "она только что все вытерла, а они опять натоптали". Менеджеры начинают расставлять мебель, вымерять ее положение каждого стула и стола по линейке, компасу, теодолиту... Бабушка не выдерживает и спрашивает: "Ребята, а что вы делаете то?" Один из менеджеров объясняет: "Да вот, бабуль, у нас что то в последнее время обороты упали, но мы сейчас мебель по фэншую расставим - и все у нас будет замечательно". Знаешь, милок, говорит бабка, до Революции, вот в этом самом доме был бордель, так когда у них доходы падали, они кровати не двигали. Они блядей меняли."


Молодой гусар спрашивает у поручика Ржевского, как это ему удается пользоваться таким успехом у женщин.
- Очень просто, - отвечает он, - нужно пойти к женщине и сказать:
"Мадам, позвольте вам вдуть!"
- Поручик! Но ведь за такое можно и по морде!
- Можно и по морде. Но можно и вдуть.

Вы можете относится к chatGPT как угодно, но это прорывная технология. Возможно, я не первый кто расшарит эту статью (скорей последний), но прям обязательно прочитайте и покажите вашим родителями, и бабушкам и все будут в теме:)

Как работает ChatGPT: объясняем на простом русском эволюцию языковых моделей начиная от T9

Все просто и понятно, авторам респект. 👏

Сегодня смотрел, что выходило в последнее время про корпоративную культуру в разных компаниях. С интересом послушал подкаст о том, зачем инженеру вникать в эту лирику огромных корпораций. Обычно принято считать, что тема культуры компании максимально далека от кодеров и системных аналитиков. Однако, она помогает лучше понимать профессиональную среду, коллег и даже самих себя.

Рекомендую ознакомиться всем, кому эта тема также интересна. То, что зацепило меня, так это кейсы, из которых ясно, что оценка performance review не решает долгосрочные задачи и почему важно думать про рост сотрудников на любой позиции — от рядового инженера до тимлида.

Подкаст интересный. По данной теме таких докладов мало, а здесь подробно разобраны кейсы из практики.

Известный в data engineering кругах товарищ - Zach Wilson, делает свой bootcamp по Data Engineering:
Week 1: Data Modeling
Week 2: Data efficiency and privacy
Week 3: Batch Pipelines with Apache Spark
Week 4: Streaming Pipelines with Apache Flink
Week 5: Data Quality
Week 6: Data storytelling

И даже цены есть:
For 30 students, there's the $987 tier.
For 5 students, there's the $1487 tier.

Скажу вас свое экспертное мнение, можете конечно не согласиться, но придется протест выражать emoji😂

Чувак бесспорно шарит и цена вроде демократичная для мерок Северной Америки, но реально программка меня совсем не воодушевляет. Я уверен, он будет вас учить "нажимать кнопки", но вряд ли будет понимание зачем это делается. Хотите разобраться? Купите на 200 долларов несколько книг O'Reilly где все это подробно расписано.

Я лично подписался на него, думал он такой "душка" будет бесплатно людей учить.

PS Ну как не упомянуть datalearn, там контент намного солидней (просто я еще не доделал Spark/Streaming), не добавил dbt, aiflow, prefect, docker. Но для начала вам это и не нужно, а если вы решили уже докер крутить и запускать там Airflow или Spark, то у вас уже достаточно опыта, чтобы прочитать правильную книгу и выбрать ее среди сотен неправильных🍩

И datalearn бесплатный! Почему бесплатный было в подкасте. Но Зак не верит в карму, он живет в Калифорнии, там все дорого😝

PPS я могу ошибаться, если кто-то пройдет курс его, приходите с вебинаром к @rspon (вообще с любим вебинаром) у нас 15к почти на ютубе, аудитория большая, расскажите о себе и своем проекте.

Когда в в 2018 году я присоединился к Science команде в Кембридже (который в Бостоне), наш офис был между Harvard и MIT, мне казалось, что это «будущее», это казалось огромной команде Алексы, где было больше 50т человек, и все это мероприятие работало в убыток, создавай новый рынок. И действительно рынок создали, возможно это рынок умных кухонных таймеров и будильников. Это самые популярные фичи девайса.

Поэтом картинка мужичка (он кстати был каким-то директором в Амазоне) очень прекрасно описывает возможности столько дорогого продукта, которые стали мягко говоря бесполезны.

Зато теперь, если OpenAI прикрутить куда-нибудь, сразу будет солидное решение.

Microsoft выпустили Azure OpenAI, сервис, где можно создать новый workspace, так же как хранилище данных, но теперь можно использовать полный спектр продуктов OpenAI и интегрировать в свои решения, уверен уже скоро Power BI будет графики рисовать для нас и писать пояснительную записку про insights.

Так как я работаю по воскресеньям в офисе (единственный день неделю, так как в этот день я один в целом здании и могу приводить детей на работу, где они могу развлекаться по-своему) и сама поездка на метро в центр это уже целое приключение.

Так же мне удобно встречаться с новыми людьми. Последняя встреча был с Маркусом, я познакомился с его отцом в Канкуне, он меня подвозил до аэропорта, оказалось Маркус учится в Ванкувере на Business Administration.

Я снова убедился, как это сложно найти себе будущую профессию и выбрать дело, которым захочется заниматься. Он мне рассказала как она работал доставщиком еды, как хочет начать делать контент на chatgpt и расти аудиторию. В общем идей у молодого человека много, но чтобы достичь профита от своих идей, нужно будет несколько лет заниматься примерно одним и тем же. Такая вот нелегкая жизнь приезжего студента.

Но я ему рассказал про datalearn, по 4 месяца обучения, разубедил его становится джуном, в общем продал ему идею работать с данными на Северную Америку у себя из дома в Канкуне. Посмотрим как дальше пойдет.

Раньше я практиковал "английский в обмен на опыт", когда пару человек помогали прокачивать канадца, его звали Мишель, (который стал Power BI разработчиком, после повара), а он помогал им практиковать английский. Я всегда говорю, ваш успех = мой успех! Возможно и здесь получится сделать win-win для кого-нибудь, если Маркус реально захочет этим заниматься, говорит SQL даже проходил. И я ему уже 1й модуль рассказал за 15 минут и все нариосова=)

Пока я рассказывал, как круто быть инженером и работать, я думал о том, что на самом деле плохо быть наемным сотрудником и быть предпринимателем. В целом тут у меня нет ответа. У каждого свое мнения, я лишь могу рассказать про свою точку зрения.

Еще в университете, я уже понимал что быть предпринимателем это круто, но своих мозгов не хватало. В одном время я был даже настоящим директором фирмы Global Polymers, с офигенным сайтом и дизайном, где вокруг планеты летит космический грузовик и доставляет полимеры (Кирилл, привет!). У меня была фирма прослойка, которая поставляла сырье на предприятие. Есть продавец сырья (завод производитель сырья), есть покупатель (завод, которые использует сырье). Так как им сложно друг с другом договориться, приходится быть посредником за комиссию. Вся моя работа сводилась к обналичиванию крупных сумм денег и раздавать их в конвертах. Очень быстро я понял, что это не мое, и мамин знакомый бухгалтер порекомендовала не играть с огнем. Да мне и н еочень было интересно. Вот такой вот он мир бизнеса=)

Соответственно, ничего другого не остается, как пойти на работу. Если идти на работу, то точно идти в хорошую, большую и международную компания. Именно об этом я думал, когда собирал ракеты Протон М.

И так вот 10 лет я работал работу на работе. Менялись компании, страны и города, но одно оставалось неизменно, зарплата 2 раза в месяц, отпуск 1-2 раза в год. Такой вот день сурка. Таков путь. (мы же в 21 веке)

Что-то, я уже много тут "воды налил". Скажу финальную мысль. Она заключается в том, что это неплохо быть наемным сотрудником. Важно овладеть ремеслом, делать, что-то одно хорошо, разбираться в это. Это обязательно должно быть востребовано (с этим сложней). Через какое-то время, если вы захотите вы сможете перейти на ступень предпринимательства.

Недавно узнал, что предпринимательство и бизнес это совсем разные вещи. Предпринимательство - это операционка, вечно надо что-то делать, куда-то бежать. А вот бизнес это про принятие решения за кружечкой чая, связи и тп. Предпринимательство это просто. Даже доставка еды - это тоже такой вид предпринимательства, только вот сложней с пассивным доходом здесь.

Поэтому мой совет новичкам от "бывалого" зарплатника:
1. выберите профессию, пусть она будет простой и понятной. Я всегда привожу в пример сантехника и электрика. Но я не имею в виду, что вам надо становиться таким (хотя они больше ИТшников получают в Северной Америке и увольнений нет)
2. найдите хорошую и большую компанию, где вы наберетесь навыков вашей профессии, так же вы научитесь общаться с людьм разных должностей, с разным опытом и разными точками зрения.
3. как вы "встанете на ноги", можете уже строить "космические грузовики" и решать, что вам делать дальше, работать за зарплату или же искать варианты как вырваться из порочного круга и "крысиных бегов" (если не читали Богатый, Бедный папа еще, то никогда не поздно). И самое главное ваша зарплата в месяц (2 раза) вам совершенно не будет мешать.

Конечно это мое мнение, кторое искажено моим опытом, но примерно так я обрисовал дела Маркусу. Он и сам понимает, что лажа какая-то доставлять еду на велосипеде в дождь за 40 долларово в день.

Качественная статья про производительность Spark UDF

Google users in America have searched for Python more often than for Kim Kardashian.

Так что да, Python популярен😅

Но Python не самый быстрый язык, поэтому в MIT сделали новый компилятор codon - Python-based compiler achieves orders-of-magnitude speedups

Всем привет!
23 марта в 20:00 по мск вебинар!
Тема: "Командная строка для чайников"
Ссылка на вебинар: https://youtube.com/live/3jXqq5uSeVs?feature=share