Tableau Lego и невозможные визуализации.

В BI и датавиз пространстве большинство пользователей работают со стандартными визуализациями. Естественно, в любом инструменте визуализации данных есть свои ограничения - они и определяют сложность визуализаций. Эксперты могут посмотреть на любую работу и примерно рассказать как она сделана. В периметре Tableau существуют "невозможные визуализации" - такие, которые мало кто может повторить без мануала, и до их создания построение считалось невозможным. Обычно на скриншот с такой визуализацией говорят что "это сделано не в Табло".

Сегодня расскажу о своей визуализации Tableau Lego. Ей 5 лет, она стала классикой в своём сегменте, но не каждый Tableau эксперт понимает как она построена. Я консультировал несколько инженеров и сейлзов внутри компании Tableau по принципам её построения. То есть, инженеры, создающие продукт, хотели понять на что способен продукт, и что можно ещё создать. И внутри компании создают 3D проекты чтобы расширить понимание возможностей продукта.

Сама визуализация "Tableau Lego" - это эмулятор конструктора, где можно по шагам эмулировать сборку лего домика, а также смотреть на него под разными углами. Всё работает на чистой математике, без внешних модулей.

Когда-то для меня 3D в Tableau казалось космосом. Но надо было разобраться и добавить что-то своё. Месяца на 4 погружался в 3D, принципы, что было сделано и что можно сделать. Сверхсложного ничего нет - просто нужно время. Из своего - добавил работу с OBJ файлами - это сильно изменило картинку. До этого 3D модели описывались форматом стереолитографии, и полигоны делились на треугольники. С моим подходом можно работать с любым числом вершин в полигоне.

Самое сложное - создать датасет, остальное - дело техники. Визуализация - это набор полигонов с заданными координатами вершин и формулы проекции на плоскость плюс алгоритм сортировки полигонов. Максимально подробно всё описал в статье "3D модели в Tableau". Её до сих пор читают и делают 3D. Мы даже конкурс один раз проводили на индийском TUG с призами.

Мне нравится концепция Лего, когда из базовых кубиков создаёшь примитивные конструкции, а и из примитивных конструкций создаёшь сложные сооружения. Как в жизни.

После создания таких визуализаций мне посчасливилось сотрудничать с людьми из Pixar, они создавали ещё первую "Историю игрушек". Про это рассказывал в одном из постов.

Зачем всё это? В русскоязычном пространстве такой вопрос возникает часто, а в англоязычном - нет. В англоязычном комьюнити просят статьи, вебинары и объяснения. Мне просто интересно делать то, что считают невозможным. Это классно, когда ты ограничен инструментом (нет циклов, скриптов и т.п.), и приходится придумывать вычисления для реализации идеи.
В СНГ такие вещи никому не нужны, и это печально. А в англоязычном пространстве всегда ищут что-то необычное и тех кто это делает. В твиттере (благодаря таким работам) на мой профиль подписаны CEO Salesforce, CEO Tableau, CTO Twitter/Facebook (сейчас - Sierra AI) - это люди, определяющие куда пойдёт мировое IT. И им это надо.

Фан факт: я поступил в 2 вуза из топ-3 в этом списке, но учиться пошел в другие места.

Физтех всегда был для меня первым из всех технических вузов, а вот Иннополис удивил

Вот это я понимаю чувак курсы по SQL Server и dba рекламирует на фоне своего Porsche с hello kitty, мужик красавчик, я бы купил. А то у нас люкс только у бизнес коучей, рэперах и в телеграмм розыгрышах.

Я выбирал курсы на лето для детей 10+ лет связанные с CS и AI.

Самый лучший вариант будет курс CS50 от Harvard на английском https://www.edx.org/cs50, там есть несколько курсов и все они хорошие, включая Python и AI.

Сегодня увидел в канале Минцифры пост про бесплатные курсы для школьников, обязательно воспользуйтесь!

Так же сегодня увидел цитату основателя антропика (claude) о том, что в 2026 году мы можем увидеть компанию единорог, в которой всего один основатель, а все остальное завязано на AI.

Хочу летом поближе детей познакомить с концептом vibe-coding и надеюсь они смогут закодить, что-нибудь прикольное. Думать абстракциями и давать инструкции (prompts) вместо написания кода намного веселей.

Что еще есть для детей по теме?

Вот исправленный и грамматически выверенный вариант текста, с сохранением неформального и живого стиля:

😇


Попалась моя старая запись из Amazon, на которой был слайд про сообщества. Думаю, это примерно 2017 год.

Amazon - одна из лучших компаний, где мне доводилось работать. Там было много сообществ, и они реально работали.

Я сам руководил тремя из них:

BI Tech Talks - я унаследовал это сообщество от другого инженера, который стал SDM-менеджером. В нём было больше 90 BI/DE-команд со всего мира. Я старался проводить вебинары, на которых команды делились опытом, а иногда приглашал титулованных спикеров из LinkedIn. Amazon открывал все двери.

Subsidiary BI Collaboration - сообщество, в которое входили IMDb, Whole Foods (я помогал им с онбордингом в дата-инфраструктуру Amazon после поглощения — у них была Teradata), Amazon Robotics, AbeBooks, Zappos и т.д. Все очень крутые компании со своей уникальной культурой. Я несколько раз выступал на Subsidiary Summits.

Amazon Tableau User Group - тоже досталась мне от крутого чувака из Amazon (до сих пор с ним на связи). Когда я уходил, у нас было уже 2500+ пользователей. Я часто приглашал Tableau Zen Masters делать онлайн-доклады для нас.

Заметьте, в 2016-2017 году в ходу было слово BI. Data Engineering и Analytics практически не использовались в обиходе.

Сумарно меня знало больше 7т человек в Амазон, все кто работал с данными, что давало мне нереальное преимущество по смене команд внутри Амазона. Даже когда перешел в Майкрософт, меня там уже знали, некоторые инженеры.

Я попытался сделать тоже самое в Майкрософт, но это оказалось совершенно не рабочим вариантом. Майкрософт вообще очень плохо функционирует в плане сообществ и взаимодействия с другими командами, если вы не работаете над одним проектом.

В статье I Don’t Want My Career to DIE (So should I consider myself a Data Intelligence Engineer)? автор рассуждает про важную тему - будущее профессии инженера данных.

Очевидно, что AI меняет подход к работе, но есть много НО. По умолчанию GenAI повышает продуктивность (генерация кода, документации и тп), но он несет в себе риски, так как уже много раз было новости про косяки в безопасности, про утечку персональных данных и пароли в открытом доступе.

Изначально мы все радовались (радуемся) vibe coding, но часто под этим подразумевается бездумная генерация кода по принципу %як-%як и продакшн. Поэтому автор предлагает другой термин - "Augmented coding” - то есть используем GenAI только как помощника, при этом инженер отвечает за безопасность, устойчивость и качество решений.

Другой concern (проблема) у автора, что бездумная генерация кода убивает развитие навыков и приводит к некачественным системам.

Таким образом появляется новый термин Data Intelligence Engineer (AI-Augmented Data Engineer), это дата инженер, который владеет AI инструментами, понимает System Design, архитектуру и безопасность, знает и умеет, как культивировать культуру качества в дата командах.

В целом для традиционного road map для дата инженера теперь нужно дорисовать еще одну ветку про GenAI.

В последнем выпуске подкаста All-In подняли интересную тему связанную с обучением. Как известно в США самое дорогое (и возможно престижное) образование. Оно дорогое не только для иностранных студентов, но и для местных. У университетов есть рейтинг, чем круче университет, тем дороже. Вроде бы все логично.

Но что происходит последние годы?

Цитата из подкаста:

«Потому что обещание, которое мы дали в Америке — это Американская мечта: если ты поступишь в колледж, ты выпустишься, будешь зарабатывать, у тебя будет стабильность, ты сможешь купить дом.»

Я думаю сейчас это относится не только к образованию в США, но и во всем мире. Известный факт, что большинство выпускников в США выпускаются с огромным долгом, так называемый студенческий кредит. У меня много коллег все еще его выплачивают.

«Люди могли поступить в университет, и выпуститься с долгом в 200–300 тысяч долларов, а потом никогда не получить работу. Этот парень никогда не имел настоящей работы. И это правда для 32 миллионов молодых американцев.»

«У всех у них так называемый “отрицательный капитал”. У них есть долги, и они никогда не смогут выбраться из этого круга.»

Получается, что в большинстве случаев высшее образование вам ничего не гарантирует, кроме огромных долгов. А есть еще программы переквалификации, магистратуры, MBA - все это стоит очень дорого.

Например, ко мне на Surfalytics иногда залетают ребята с топового канадского MBA, но у них совершенно нет скилов для поиска работы, да и скилов, чтобы эту работу делать. Они потратили огромный капитал на образование, жилье, и на выходе у них есть строчка в резюме и профессиональная портретная фотка, которую всем делает в университете. Им обязательно проведут курсы по составлению резюме и поиску работу. Обычно это делают люди, которые сами никогда работу не искали.

Таким образом получается, что высшее образование необходимо, оно дорогое, но совершенно ничего не гарантируют. В каждый конкретный момент, есть рабочие варианты, например, сейчас студенты Computer Science еще могут рассчитывать на стажировку в BigTech компаниях и последующее трудоустройство. А как будет через 5-10 лет?

Летом у меня было собеседование в Zapier, я сделал скриншот с их оргструкторой. Я уже откликнулся в конце процесса, поэтому быстро получил отказ.

В качестве платформы данных они используют Databricks. На картинке видно структуры дата комманд.

Согласно Гуглу у них около 1000 сотрудников.

Если у вы используете GitHub, то вы можете добавить Copilot, и он будет писать свой PR description и рассказывать какие файлы поменялись.

Так же можно использовать copilot, чтобы он за вас писал описание PR

Есть и другие способы интегрировать LLMs в ваш code review процесс. Можно использовать свой бот, можно использовать готовые решения от AWS, Anthropic и тд.

При желании можно даже разрешить агентам редактировать код за вас, но тогда уже не найти концов. Такое мы в проде нигде не используем.

Как у вас проходит code review?

Список чтения на летние каникулы

В прошлый раз Ваш покорный слуга публиковал «список для чтения» на зимние каникулы, сегодня продолжаем эту нерегулярную рубрику, тем более что «морганы» опубликовали «официальный список для чтения на 2025», так что это можно уже считать трендом.

Летнее уточнение: на эти каникулы у нас в меню не только финансы, но ещё и другое всякое полезное, до чего не доходили руки ранее. Традиционное предупреждение: это неприятный список, и в нём нет книг типа «Как клеить тёлочек для идиотов» или «Большое бабло для чайников», ну и прочего шлака из серии «богатеть — это просто».

Про «как инвестировать и не сойти с ума». Взаимодействие с финансовыми рынками (в любой форме, включая инвестиции и трейдинг) обычно вскрывает в человеке все его глюки, тараканов, недостатки и пороки. А потом рынок этим компроматом пользуется вовсю, чтобы довести юзверя до депрессии, алкоголизма, лудомании, выхода в окно или (по)читания какого-нибудь «Кристалла Прироста». Не надо так, надо работать над собой:

1. Бретт Стинбарджер: «Психология трейдинга». Книга не про трейдинг, а про психику под нагрузкой, от человека, который реально работал с хедж-фондами, шоуменами и профессиональными спортсменами. Невероятно полезная штука для супруга/супруги того, кто в семье инвестирует (если трейдит, работает в шоубизе или в реальном бизнесе — тем более): может реально спасти (и проапгрейдить) брак хотя бы за счёт создания «мостика понимания» и вдумчивой эмпатии к тому, кого риск и стресс долбит по мозгам и психике.
2. Питер Линч: «Метод Питера Линча». Мой подход не очень пересекается с подходом Линча, но Линч — это отличное лекарство от обывательского ступора при попытке начать думать об инвестициях. Много здравого смысла + много «хаков» = польза, правда, для российской реальности придётся допиливать напильником, но это часть фана.

После публикации «Учебника Корпоративной Скотины», спрашивают, где ещё можно учиться продажам (своего времени, талантов, товаров, услуг), кроме как на курсах впаривания пылесосов или у Чалдини:
3. Alex Hormozi: "$100M Offers" - больше подойдёт для бизнесменов, но каждый, кто продаёт свой труд или время — в той же лодке, просто не все это понимают. Это справочник методов продажи чего угодно и кому угодно.
4. Кирилл "Гуру" Стрельников -> Если вам нужно (а вам НУЖНО) продать время, труд, товар, услугу или даже себя любимого в любом качестве, то для этого потребуются слова на экране, на бумаге или в личном общении. Это по сути энциклопедия большого личного опыта складывания слов в нужные комбинации, от рекламы для Хайнекен или Рено и до заказов со Старой площади.

После подкаста с ув. Асафьевым поступило некоторое количество вопросов от ув. айтишников, по поводу «а как тогда жить-то и думать-то?». Рефы для вас:
5. Энни Дьюк: «Принцип ставок». Очень многие «технари» (но не только они) болеют «шахматным» (детерминированно-алгоритмичным) мышлением, которое гарантирует (вот прямо гарантирует) проблемы в личных отношениях, карьере и на финансовых рынках. Жизнь (и люди, из которых жизнь состоит) — это НЕ шахматы, это намного ближе к покеру — игре несправедливой, нелинейной, слегка рэндомной, неоднозначной и трудно поддающейся «лобовой» оптимизации. Книга — база «покерного» мышления применительно к жизни.
6. Антон Волков: «Точка сборки» -> Гейм-дизайнер, миллиардер, венчурный инвестор, который может «на айтишном» объяснить, почему «методичкоголвость» — это не айс для жизни. Почти гарантировано, что по любой стереотипной теме из жизни корпоративного кодера там что-нибудь есть (обидное, но практичное). Многим, имхо, стоит прочитать про «Самоизгнание из внутреннего «села» и Департамент Доказательств а дальше уже как пойдёт.

Приятного чтения.