Ну что я вчера говорил про AI Data Engineer? Вот уже вакансии появляются.

Брюки превращаются…брюки превращаются…

У меня уже появляется потребность собрать свой мини AI сервер с двумя GPU картами. Кто-нибудь собирал такой? Я пока знаю одного человека, кто для нас всегда делает вебинары про fancy инструменты sqlMesh, duckdb и тп (Рома привет!)

Сегодня CEO стартапа записал видеообращение с поздравлением thanksgiving и был очень exciting показать приложение с координатами четвероногих клиентов, которое я сделал в Streamlit для фана. Я уже почти два года общаюсь с фаундерами и они полностью сделали bootstrap на свои деньги (friends and family) и вышли на уровень revenue 100млн в год.

Закончил слушать книгу - Empire of AI, автора Карен Хао. Книга рассказывает историю создания OpenAI и переход компании от non-profit к PROFIT. Книга интересная и слушал ее с удовольствием.

Основные темы в книге by AI:

Центральный аргумент Хао заключается в том, что индустрия ИИ воспроизводит модель колониальных империй XIX века. Она выделяет четыре ключевых паттерна:
• Захват ресурсов — присвоение данных из интернета, а также природных ресурсов (вода, энергия) для работы дата-центров
• Эксплуатация труда — использование низкооплачиваемого «призрачного труда» работников в Кении, Венесуэле и других странах Глобального Юга, которые «чистят» данные и модерируют контент, часто получая меньше доллара в день
• Монополизация знаний — концентрация ведущих ИИ-исследователей внутри корпораций
• “Цивилизаторская миссия” — риторика о «благе для всего человечества», которая оправдывает любые действия

Критика Сэма Альтмана как лидера
По мнению Хао, Альтман — манипулятивный и амбициозный лидер, который:
• Не может чётко определить, что такое AGI, но использует эту концепцию для привлечения инвесторов и талантов
• Превратил OpenAI из некоммерческой организации с миссией безопасности в «прибыльную чёрную дыру», поддерживаемую миллиардами Microsoft
• Умело манипулирует разными аудиториями — перед Сенатом говорит об экзистенциальных рисках ИИ, отвлекая внимание от реального ущерба
• Как пишет Шошана Зубофф в рецензии: «Альтман — хитрый молодой человек с непомерными амбициями, осуждённый мир на цифровое насилие подхода к ИИ, который может существовать только пожирая всю информацию мира»

Как ИИ «возвращает рабство»
Хао документирует систему, которую критики сравнивают с современным цифровым рабством:
• Работники в странах Глобального Юга (Кения, Латинская Америка, Восточная Азия) выполняют психологически травмирующую работу по разметке данных и модерации контента
• Оплата составляет менее доллара в день — при том, что руководители и инвесторы AI-компаний зарабатывают миллиарды
• Это классическая колониальная схема: ресурсы и труд бедных стран используются для обогащения небольшой группы технологической элиты
• OpenAI определяет AGI как технологию, «превосходящую людей в наиболее экономически ценной работе» — то есть сама цель создания таких технологий направлена на подавление возможностей работников требовать права

Книгу сравнивают с «The Anarchy» Уильяма Далримпла о Британской Ост-Индской компании — ещё одной корпоративной империи, превратившейся в политическую силу.

Получается ethical AI там и близко нет, точнее это вряд ли существует. И в погоне за лидерством и могуществом компании ни перед чем ни остановяться.

Нейроаналитик в DataLens теперь тянет большие данные.

ИИ-помощник от Yandex B2B Tech научился обрабатывать сразу весь дашборд, искать закономерности и выдавать выводы за секунды. В Яндекс Go его уже используют команды Такси, Доставки и Шерингов — агент анализирует данные по 58 млн пользователей и помогает ловить сезонные скачки спроса и отклонения в метриках.

Технический директор платформы Yandex Cloud говорит, что следующий шаг — проактивный мониторинг, когда системы будут не ждать вопросов, а сами искать аномалии и предлагать решения.

Голая статистика - Чарльз Уилан
(Naked Statistics - Charles Wheelan)

Сегодня хочу поделиться мини рецензией об этой замечательной книге.
Заодно ответить на вечный вопрос: может ли книга про статистику быть живой, понятной и не вызывать флэшбеки с пары по матстату.

На сайте самого Уилана про него написано коротко и нагло:
Author. Professor. Speaker. Political Reformer.

Автро явно не из тех, кто открывал статистику только ради сдачи экзамена. И это чувствуется с первых страниц. Я, как человек, который уже много лет живёт в аналитике, BI и моделях, я довольно скептически отношусь к «популярным» книгам по статистике - но тут история другая:

«Голая статистика» - это, пожалуй, одна из лучших книг по статистике, которые я читал.

А читал я их уже немало - от классики до совсем академического кирпича.

О чём книга (и почему это не скучно)
• Корреляция
• Основы теории вероятностей
• Центральная предельная теорема (ЦПТ)
• Опросы общественного мнения
• Регрессионный анализ

На обложке вообще написано:
«Самая интересная книга о самой скучной науке»

И вот тут Уилан делает магию:
он реально разжёвывает статистику так, что и новичку ок, и человеку с опытом есть что подчеркнуть и переосмыслить.

При этом он объясняет сложные вещи на живых примерах:
загадка Монти Холла, Perry Preschool Study, марафон любителей сосисок, супружеская жизнь Ким Кардашьян (да, и она послужила статистике), исследования Americans Changing Lives и многое другое.

Центральная предельная теорема по-человечески

Отдельный кайф книги - блок про выборки, опросы и ЦПТ.

Вот как сам Уилан описывает ЦПТ:
«Центральная предельная теорема, значение которой для статистики соизмеримо со значением Леброна Джеймса для профессионального баскетбола».

Если перевести на практический язык:
если у нас есть правильно сформированная выборка, то наблюдаемые на ней характеристики с высокой вероятностью отражают свойства всей генеральной совокупности.

Несколько цитат, которые показались особенно точными

«Опираясь на статистику, легко врать, но без статистики очень трудно выяснить истину». - Андрейс Дункельс

«Вы не можете управлять тем, что не в состоянии измерить. Помимо этого, то, что вы измеряете, действительно является тем, чем вы пытаетесь управлять».

«Какой бы соблазнительной ни была элегантность и точность вероятностных моделей, они не заменят нам здравого размышления о сути и цели выполняемых вычислений».

И мой любимый образ 🔥:

«Когда увеличивается размер неправильно сформированной выборки, высота мусорной кучи также увеличивается, а вонь от неё становится сильнее».

«Голая статистика» трезво напоминает:
📍 Статистика и анализ данных - это мощный инструмент, чтобы лучше понимать реальность, а не подгонять её под наши фантазии.
📍 Любая модель - всего лишь приближение мира, а не откровение.
📍 Аналитик всегда должен быть не только «человеком формул», но и человеком здравого смысла.

Как я люблю говорить:

мало быть data-driven, важно оставаться data-informed

Как эта книга помогла лично мне

В далёком уже 2019-м я учился на Data Science в Нетологии. Одна из тем была Центральная предельная теорема. Формулы были красивые, преподаватели старались, домашки летели одна за другой - но абсолютно не было понятно, как эту теорему вообще применять в реальной аналитике и зачем она нужна, кроме как для галочки на экзамене.

И вот спустя время попадает мне в руки «Голая статистика».
И Уилан, как настоящий профессор-волшебник, берёт и на примере марафона любителей сосисок(!) объясняет ЦПТ так, что наконец-то становится ясно:
• как она работает
• почему она настолько фундаментальна
• и в каких реальных задачах она решает половину аналитических головоломок.

Так что да - эта книга не только хороша сама по себе,
она ещё и сильно закрывает пробелы, которые другие источники часто оставляют открытыми.

«Мы поняли, что мы как Тринити и Морфеус. Нам нужен был Нео». Как ночной портье за 3 месяца разобрался в инжиниринге данных

Смотрите подкаст «Криптонит говорит» о дата-инженерах! В нём эксперты обсуждают:
🔹достигла ли пика профессия дата-инженера;
🔹какой стек нужно знать дата-инженерам;
🔹какие намечаются тренды отрасли.

📺 YouTube
📺 Rutube
💙 VK видео
💬 Подкаст в телеграме
🎵 Яндекс.Музыка

Смотрите и подписывайтесь на подкаст «Криптонит говорит» — обсуждаем айти, искусственный интеллект, языки программирования и криптографию.

Реклама АО НПК «Криптонит» ИНН 9701115253 Erid: 2VtzqwCgYzD