Что фундаментально изменило мир к худшему, но люди этого ещё не осознали?

То, что смартфоны и алгоритмические ленты сделали со скукой и... пользой от неё.

Потому что на протяжении большей части человеческой истории скука не была проблемой, которую нужно было решать.

Это было когнитивное состояние, которое переводило мозг в режим, который сегодня мы называем «сеть пассивного режима работы мозга» (default mode network) – своего рода фоновую ментальную обработку, во время которой он консолидирует воспоминания, развивая мышление через (не)осознанное воображение, фантазию, эмпатию, генерируя творческие и бизнес-идеи и выстраивая связ(ан)ное-ощущение-Себя-и-мира.

Когда мы смотрели в окно, ждали автобус или тихо сидели после ужина, наш мозг выполнял одну из самых важных своих работ.

Скука была, в самом прямом смысле... двигателем сознания и внутренней жизни.

По мере того как роли в сферах разработки продуктов, дизайна, Data Science и других сливаются воедино благодаря ИИ, я размышлял о том, как они могут выглядеть в будущем (Boris Cherny, Claude Code)

Например, глядя на команду Claude Code, я выделяю пять архетипов:

1. Прототипировщик (Prototyper): генерирует совершенно новые идеи; выдает множество идей, большинство из которых не доходят до стадии реализации.

2. Создатель (Builder) быстро превращает прототип или идею в готовый к эксплуатации продукт или инфраструктуру.

3. Упорядочиватель (Sweeper): приводит в порядок интерфейс, упрощает код и систему, удаляет лишнее, оптимизирует производительность.

4. Развиватель (Grower): берёт уже созданный продукт и дорабатывает его для улучшения соответствия продукта рынку (Product-Market Fit).

5. Поддержка (Maintainer): отвечает за зрелую систему, обеспечивая её безопасность, надёжность, быстродействие и эффективность по мере масштабирования.

Многие специалисты совмещают две, а иногда и три роли. Я также заметил, что эти роли не жестко привязаны к должностным обязанностям.

Например, в Anthropic есть дизайнеры, соответствующие категориям 1, 2 или 3; то же самое касается инженеров, продакт-менеджеров и специалистов по данным.

Здоровой команде требуется сочетание этих ролей в зависимости от продукта:

- Для нового продукта, ещё не нашедшего соответствие рынку (pre-PMF), нужны люди с сильными навыками типов 1, 2 и 3.

- Для растущего продукта, нашедшего соответствие рынку, нужны типы 2, 3, 4 и отчасти 5.

- Для продукта с сильным соответствием рынку нужны типы 3, 4, 5 и отчасти 2.

Возможно, именно так будут выглядеть продуктовые роли будущего, а не как нынешние узкоспециализированные должности.

– 3 основных типа лидеров продукта
– Новая структура любого отдела в компании
– Командные роли по Белбину

Трамп отменил ограничения на Fable и она снова доступна 🔥 По такому случаю поделюсь опытом, который был отложен как раз до этого дня:

TLDR: Fable – самая умная и быстрая ИИ, что я видел за всё время

Она способна системно анализировать огромные объёмы данных (и сжигать токены с такой же скоростью), совершая теоретический ноль ошибок по сравнению с предыдущими моделями и выдавая просто фантастические результаты.

В вайб-кодинге я застал её раскатку в самом начале пока её режим авто-защиты и переключения на более глупые модели при запросах на анализ безопасности кода ещё не был нормально прокачан, и успел ради теста прогнать через неё целиком один опенсорсный таск-менеджер.

В общем... за 5 минут Fable нашла в нём порядка 6 критических уязвимостей, дающих полный доступ ко всем проектам и данным внутри системы и ещё около десятка мелких, расписав по шагам как их активировать и использовать.

Прикинув, сколько лет заключения начинало бы светиться на кончиках моих пальцев, начни я проверять это всё на практике, я быстренько закрыл сессию от греха подальше и удалил её на всякий случай 🙂

Окей, к продуктам:

1. Отдавай Fable только «последнюю милю» рассуждения, а не весь процесс, ибо прогонять весь объём работы через самую сильную модель дорого и нецелесообразно.

Используй связку Sonnet → Fable → Sonnet как цикл
ИЛИ
Fable → Sonnet → Fable

Sonnet расширяет (собирает варианты, черновики, сырой список идей), Fable сужает (выбирает и обосновывает лучший вариант с учётом trade-off'ов), Sonnet снова расширяет (превращает решение в конкретные тикеты, сообщения, план действий). Или наоборот.

Прибереги Fable для decision log, а не для повседневных апдейтов

Смысл Fable в том, чтобы она добавляла именно тот последний процент, который остальные ИИ упускают. Так Fable работает ровно на той стадии, где нужно суждение, а не генерация объёма.

2. Используй Fable как самого-главного-менеджера, а не как ревьюера, попросив сыграть роль самого скептичного CPO/CEO, (который ставит под сомнение и режет фичи) и разнести кейс по существу.

Обычное ревью ищет опечатки в логике, в то время как ролевая атака Fable ищет дыры в самой стратегии логики, и именно в этом разница в интеллекте Fable ощущается сильнее всего.

3. Для этого прогоняй одну и ту же стратегическую задачу через Fable трижды в разных фреймингах

Первый раз оптимизируй под использование, второй раз под масштабирование, третий раз под риски. Четвертый раз в этой же сессии попроси сделать финальный анализ.

В Fable разница между всеми тремя ответами будет более содержательной, а финальное расхождение между прогонами – это и есть то, над чем должен работать человек.

4. Не давай Fable контекст, который ты сам не перечитал

Чем сильнее модель (а Fable сейчас сильнее всех), тем правдоподобнее она достроит недостающий контекст сама и тем незаметнее будет ошибка, если ей подсунули устаревшую метрику или неверное допущение.

С дешёвой моделью плохой инпут даёт явно кривой и глючный аутпут, который сразу видно и его ещё можно успеть исправить.

5. Держи Fable отдельно от документа, который писала НЕ она!

Для стратегического ревью открывай новый диалог и давай только финальный артефакт без истории черновиков, без твоих промежуточных рассуждений. Иначе Fable наследует твою же рамку мышления и соглашается с ней, вместо того чтобы дать свой независимый взгляд.

6. Проси Fable явно проговорить, при каком условии она неправа. Не просто "дай рекомендацию", а "дай рекомендацию и укажи, какой факт, если он окажется неверным, полностью всё сломает".

7. Прогоняй через Fable процессы, а не документы

Раз в квартал давайте модели не PRD, а свой шаблон PRD или свой процесс приоритизации целиком и спрашивайте, какой систематический слепой участок в них вами упущен.

Это применение той же логики внешнего цикла, но на уровне не одной сессии, а всей вашей продуктовой методологии и именно в таком контексте сильнее всего окупается разница между Sonnet/Opus и Fable.

– He was a friend to me and went everywhere with me. But honestly, he’s still with me right There ))

ClaudeMD автоматического выбора ИИ-модели для продуктовой работы

Рейтинги – это стартовая калибровка, а не фиксированные данные и чем выше число, тем лучше.

Модель / Стоимость / Интеллект / Вкус
sonnet-5 / 8 / 6 / 6 /
opus-4. / 8 / 5 / 8 / 7 /
fable-5 / 3 / 9 / 8 /

– Стоимость. То, что ощущается в лимитах токенов и скорости.
– Интеллект. Насколько сложную, многошаговую или неоднозначную задачу можно доверить модели без присмотра.
– Вкус. Качество структуры документа, формулировок, тона в коммуникации и чуткость к контексту.

Откалибруй эти цифры под собственный опыт после пары недель использования. Важна не точность чисел, а сам принцип: не гонять сложные решения через дешёвую модель и не тратить дорогую модель на рутину.

Как применять:

– Это дефолты, а не ограничения. Если результат дешёвой модели не дотягивает, то не спрашивай разрешения, перезапускай с более сильной. Суди по результату, а не по тому, что модель просто должна была справиться.

Пересогласование стоит дешевле, чем решение, принятое на слабом анализе

– Когда параметры конфликтуют для чего-то, что реально влияет на решения или уходит наружу, опирайся на:

1. Интеллект > 2. Вкус > 3. Стоимость

– Массовая механическая работа (расшифровка транскриптов интервью, разметка тикетов, сведение таблиц с метриками, черновой синтез фидбека из десятков источников): sonnet-5.

– Всё, что уходит наружу стейкхолдерам, клиентам, руководству (питчи, обоснование приоритизации, деликатные апдейты о задержках, переговоры о scope): нужен вкус ≥ 7.

– Ревью и вторая пара глаз (проверка PRD перед отправкой инженерам, стресс-тест roadmap, поиск дыр в бизнес-кейсе): fable-5 или opus-4.8, по возможности оба как независимые мнения, если решение необратимое.

– Стратегические и неоднозначные решения (trade-off между конкурирующими метриками, приоритизация, спорные ставки без явного правильного ответа): fable-5.

– Никогда не используй самую слабую модель для документов, которые пойдут выше вашего уровня или станут прецедентом для команды.

Режимы работы

– Написание PRD и спек с нуля → opus-4.8 как основа → fable-5 для финального ревью перед отправкой в разработку.

– Discovery-синтез sonnet-5 для чистой расшифровки на входе (несколько интервью → инсайты → гипотезы) → fable-5 для самого синтеза (нужен интеллект, чтобы не сгладить противоречия)

– Приоритизация бэклога / RICE-скоринг → sonnet-5 для механического прогона по формуле → opus-4.8 для проверки, не искажает ли формула реальный контекст → fable-5 для синтеза

– Коммуникация о задержках и плохих новостях стейкхолдерам → fable-5 или opus-4.8. Тон и причины здесь важнее скорости.

– Рутинные апдейты статуса, саммари встречи, заметки в трекер → sonnet-5.

– Pre-mortem, поиск слабых мест в плане запуска → opus-4.8 → fable-5 как отдельная независимая проверка.

– Черновик поста / статьи / контента на основе рабочих заметок → opus-4.8 для черновика → fable-5 для финальной правки тона и структуры.

– Анализ больших выгрузок данных / метрик → sonnet-5 для первого прохода и агрегации → эскалация на opus-4.8, если нужна интерпретация неоднозначных паттернов → fable-5 для финальной проверки паттернов.

Почему ИИ на самом деле не научился «видеть» так, как видим мы

Профессор Стэнфорда Джуди Фан выступила на сцене MIT и объяснила, почему люди так хорошо умеют делать невидимое видимым.

1. Природа никогда не давала нам прямых линий или острых углов. Числовая прямая, координатная плоскость, основы геометрии — всё это изобретения человека.

Мы создали инструменты, которых не существует в природе, просто потому, что нам нужен был способ мыслить яснее.

2. Система координат, изобретенная Декартом, решила проблему, которая веками ставила математиков в тупик — удвоение объёма куба. После изобретения этот инструмент стал настолько незаменимым, что практически каждая математическая программа на Земле до сих пор зависит от него.

4. Каждый крупный научный прорыв опирался на визуальный инструмент, который делал невидимое видимым. Дарвину нужны были изображения зябликов, расположенные рядом, чтобы увидеть вариации, которые иначе были бы слишком незначительными, чтобы их заметить. Кахалю нужны были подробные рисунки нейронов под микроскопом, чтобы составить карту строения нервной системы.

Исследовательская группа Фан изучает нечто обманчиво простое: как люди решают, что включить в рисунок, а что отпустить

Когда два человека играли в игру с рисованием, участники использовали гораздо больше деталей, когда у целевого объекта были близкие конкуренты, чем когда он стоял один, вплоть до использования меньшего количества штрихов и меньшего времени, когда более подробная информация не требовалась.

6. Люди не просто копируют то, что видят. Они постоянно принимают решения о том, какой уровень детализации действительно служит цели коммуникации, и делают это естественно, никогда не обучаясь теории, лежащей в основе этого.

7. Существует реальная разница между изображением чего-либо таким образом, чтобы кто-то мог это идентифицировать И изображением чего-либо таким образом, чтобы кто-то мог понять, как это работает.

В одном исследовании участники рисовали пояснительные диаграммы, которые подчеркивали движущиеся, причинно-следственные части машины, в то время как изобразительные рисунки акцентировали внимание на фоне и общем внешнем виде, хотя оба варианта изображали один и тот же объект.

Пояснительные рисунки действительно лучше помогали кому-то понять, как управлять машиной, но хуже помогали определить, какая именно это машина.

Нельзя оптимизировать один рисунок для достижения обеих целей одновременно. Визуальная коммуникация всегда предполагает компромиссы

И остается большой, измеримый разрыв между тем, насколько уверенно модели ИИ распознают эскизы, и тем, насколько уверенно это делают люди, даже когда обе группы отвечают на одни и те же вопросы об одних и тех же изображениях.

11. Когда исследователи сравнивали эскизы, созданные людьми, с эскизами, сгенерированными ИИ, при ограниченном количестве штрихов, оба варианта были одинаково узнаваемы при большем количестве штрихов, но резко расходились по мере сокращения лимита штрихов.

Люди и системы ИИ упрощают рисунки принципиально разными способами, когда ресурсы становятся дефицитными.

12. Чтение графика — навык, который включает в себя восприятие, знание, куда смотреть, сопоставление этой визуальной информации с фактическим задаваемым вопросом, а затем преобразование этого сопоставления в ответ.

При непосредственном сравнении с людьми в задачах чтения графиков, модели ИИ показали существенный разрыв в производительности. И даже когда общая точность модели приближалась к человеческому уровню, модель ошибок ИИ совершенно не походила на то, как на самом деле ошибаются люди.

13. Люди выбирают совершенно разные типы диаграмм в зависимости от того, на какой конкретный вопрос они пытаются ответить, а не из-за общего предпочтения столбчатых диаграмм или диаграмм рассеивания.

Наш выбор диаграмм тесно коррелирует с тем, какая визуализация действительно поможет человеку интуитивно и правильно ответить на конкретный запрос.

Свобода и несвобода фич в продукте

Продукт свободен, когда все идеи-фичи имеют единую, последовательную и связанную логику ⇄ механику ⇄ архитектуру ⇄ CJM ⇄ JTBD, являясь частью Единого Целого настолько, что перестают быть отдельными элементами Системы.

Из-за консистентной (наше новое любимое слово с ИИ) логики-механики-архитектуры, такие фичи внедряются с минимальным вложением усилий в эту самую логико-механику-архитектуру. Минимум разработки/багов, минимум новых неизвестных действий для пользователя, единые связанные метрики.

Другими словами, каждая новая фича на 98% становится лишь новой фронтовой обёрткой вокруг-поверх-после механики и логики другой, создавая новые линии связей между ними, а не плодит новые "уникальные" фиче-сущности-объекты.

Именно благодаря этому, они усиливают друг друга пропорционально, и каждая новая фича кратно увеличивает единственный набор метрик, не вынуждая продакта использовать ранние/запаздывающие/прокси и прочие показатели.

И именно поэтому такие фичи работают с минимальными объяснениями – их суть давно понятна на примере прошлых, механика стала привычна, а логика всё неизменно подтверждает.

Найти такую фичу просто – удали одну такую фичу из цепочки, и рухнет добрая часть всего продукта.

Несвобода же определяет трение
Так трение определяет несвободу

А несвободный продукт тот, в котором каждая новая фича требует новых переводов логики, механики, архитектуры из-за изменившегося (за их же счёт!!!) внимания и намерения пользователя.

И это то, с чем мы, как продакты, каждый день боремся, плодя фичи и онбординги-подсказки, гордо называя это адаптацией и прочими улучшениям конверсий и метрик, вместо того, чтобы иметь смелость признать, что все предыдущая фича была частью продукта, который не был Системой, и почти всё, что мы делали –  улучшали чинили наши прошлые ошибки неконсистентных фич.

Валидация — это мираж

«Как проверить UI/UX/механику...»
«Как проверить, сработает ли фича?»
«Как узнать, будут ли люди покупать это?»
«Как понять, стоит ли разрабатывать продукт?»
«Как подтвердить соответствие продукта рынку заранее?»

Никак.
Никак.
Никак.
Никак.
Никак.

Нельзя пре-проверить Идею.
Нельзя валидировать догадку.
Нельзя валидировать абстракцию.
Нельзя валидировать эскиз, макет и MVP.
Нельзя проверить то, чего ещё не существует.

Наш мозг ищет уверенности заранее, ему сложно вернуться к работе в ином режиме. Но отсчёт времени начинается не тогда, когда вы приступаете к работе или когда готов какой-то фрагмент Целого.

Он начинается только/ровно в тот момент, когда готовый продукт/фича становятся публичными и выходят на рынок

И если единственный способ узнать, что вы промахнулись — это спросить других и ждать их ответа, значит, вы, скорее всего, сбились с пути ещё в самом начале. И вы, на самом деле, точно промахнЁтесь (снова привет, пророческое совершенное время, но только с пользой наоборот).

Если вы создаёте продукты, вы должны понимать, куда движетесь, не спрашивая у других дорогу на пути.

Есть лишь один способ максимально приблизиться к уверенности — создать реальный продукт/фичу и выкатить их в паблик, чтобы их можно было: попробовать (→) использовать (→) купить. Потому что именно так ВСЁ работает в реальности. Именно так работает реальность.

Реальное использование реального продукта в реальных условиях и в ходе реальной работы — единственный способ что-либо проверять.

Поэтому самый работающий в реальности способ всё выяснить — поверить в идею, воплотить её в жизнь и выпустить её в мир.

Вы безупречно делаете вcё:

1. вы Это Предчувствуете;
2. вы Это Видите
3. вы формируете Намерение
4. вы двигаете(сь) сквозь Это вместе

Продукт — это совокупность взаимосвязанных элементов: они зависят друг от друга, перетекают один в другой, интегрируются между собой.

Нельзя взять кусок продукта, спросить людей, нравится ли он им, и сделать вывод, что им понравится и остальная часть, когда она будет готова. Так вы узнаете лишь то, нравится ли им конкретно этот кусок, который вы им дали.

Все экстраполяции/валидации и верификации – додумки и обман нашего мозга.

Поэтому не принимай впечатление от отдельной части продукта за Истину. Давая человеку кусок чего-то неоднородного, ты вынуждаешь его угадывать вместе с тобой и на этом нельзя строить Намерение, Видение и Движение.

Хочешь усомниться в себе/фиче/продукта/ и в конечном результате — устрой тест/опрос/коридорное тестирование или просто спроси кого-нибудь ещё, что он думает о твоей идее/фиче/продукте.

Созданная таким образом "неопределённость" –  единственное, что сработает безотказно в этой "реальности". И всё будет как на картинке выше.

Декабрь 1985 года. Команда Стива Джобса заявила ему, что назначенный им срок выпуска — это «искажение реальности».

Стива согласился с их доводами, но всё равно настоял на своей дате. Запись этого разговора раскрывает принцип принятия решений, который так и не усваивают многие продакты и основатели.

Компании NeXT всего 90 дней, она финансируется из личных средств Джобса, вложенных после его ухода из Apple и уже на первом совещании команда обсуждает перенос запуска с весны 1987 года на весну 1988-го.

Возражения звучат жестко. Один из сотрудников указывает на опасность: «Искажение реальности – вымышленная дата, и все принятые на её основе проектные решения впоследствии придётся перечеркнуть».

Джобс не спорит: «Что ж, Джордж, я не могу изменить мир». (– ахахахаха, Стив, комоооон)

Он настаивает на другом:

«Я считаю, что мы должны обозначить чёткую веху. И если мы упустим это окно, то в игру вступит целая цепочка событий. И если мы не сможем продать достаточно устройств в 87-м, мы не сможем покрыть наши операционные расходы...

...У нас есть 18 месяцев. И я не думаю, что компания выживет, если мы этого не сделаем. Что бы ни говорил я или кто-либо ещё, я глубоко в этом убеждён. Если мы этого не сделаем, мы не сможем привлечь отличных специалистов. Мы не сможем удержать даже тех, кто у нас уже есть».

TLDR: Команда оперировала оценками сроков, а Джобс — условиями выживания.

– Оценка говорит о том, когда работа может быть завершена, и допускает обсуждение.

– Условие определяет момент гибели и бесповоротную точку чего-либо, и оно не подлежит обсуждению.

Именно поэтому установленный срок остался в силе. Джобс привязал дату не к оптимистичным прогнозам, а к рыночному календарю и запасу прочности компании. И все могли оспорить график работ, но никто не мог оспорить критическую важность этого временного окна.

Неудобная для основателей Истина в том, что если ваш дедлайн основан на оценках команды, он неизбежно сдвинется.

Если же он диктуется законами рынка, то это вовсе не дедлайн, а условие выживания (замаскированное рынком под дедлайн).

Опросы в кампусах показывали, что верхний предел цены составляет $3,000 долларов и колледжи готовы закупать компьютеры по таким ценам. NeXT представила свой «чёрный куб» 12 октября 1988 года с опозданием более чем на год. Продажи начались в 1989 году по цене от $6,500 долларов, спрос со стороны университетов оказался низким, а масштабировать производство так и не удалось.

— What I want and what I need are two different things, Audrey

Метод CRISP для PRD

...«Пользователи должны иметь возможность легко управлять своими настройками»...

...«Система должна обеспечивать бесшовный процесс онбординга»...

...«Пользователи должны иметь возможность быстро находить релевантный контент»...

Эти фразы звучат умно, но не проходят элементарную проверку на качество требования: можно ли понаблюдать за действиями пользователя и понять, сработала ли функция так, как нужно?

«Легко» — по чьей оценке?
«Бесшовный» — как измеряется?
«Релевантный» — по каким критериям?

Когда требования не определены, инженеры трактуют их по-разному, QA не могут составить на их основе тест-кейсы, метрик и аналитик нет, и продакт попадает в созданный им же замкнутый круг переделок.

Подход Алистера Кокберна CRISP заменяет расплывчатые требования структурированными сценариями, описывающими наблюдаемое поведение.

CRISP – это:

– Context (Контекст)
– Role (Роль)
– Intent (Цель/Намерение)
– Steps (Шаги)
– Postcondition (Пост-состояние).

Тоже самое требование об «управлении настройками» в формате CRISP будет выглядеть так:

– Контекст: Авторизованный пользователь с активной учетной записью.

– Роль: Владелец учетной записи.

– Цель: Изменить частоту получения уведомлений.

– Шаги + alternate flows. Пользователь открывает «Настройки», выбирает раздел «Уведомления», меняет частоту с «Ежедневно» на «Еженедельно», подтверждает изменение и видит сообщение о подтверждении. Alternate flows: пользователь отключил PUSH в телефоне/разные часовые пояса/и т.д.

– Пост-состояние: При следующем цикле рассылки система отправляет уведомление.

Три CRISP-совета

🍤 Стоит явно зашивать в Context/Intent связку с JTBD, иначе метод просто оптимизирует форму требования (которое может быть ошибочным), а не ценность фичи и продукта.

🍤 Постусловие пишется первым, шаги задом наперёд. Если вы не можете сформулировать постусловие до того, как придумали шаги, то вы не знаете, что строите, а просто рисуете UI.

Постусловие — это ещё и спецификация аналитики, а не только тест-кейс, потому что use case, доведённый до постусловия, автоматически диктует то, какой ивент нужно логировать.

🍤 PRD пишется не только с ИИ, но и с QA и разрабом, которые пытаются сломать постусловие, потому что единоличное авторство use case воспроизводит ту же проблему, что и с расплывчатым PRD, просто один человек теперь уверен в своей однозначности.

Ценность метода реализуется в адверсариальном ревью: кто-то должен спросить «а если...» до продакшена (а не как обычно после). И не забывайте про alternate flows!

Готово! Абстракция заменена конкретной последовательностью действий и проверяемым результатом, объём работ становится чётко определён и не допускает вольной трактовки, оценки разрабов становятся точнее, приёмочное тестирование упрощается, метрики и аналитика настроены с самого начала.

Bon appetit!

Токен ↔ Человек: параллели между работой ИИ-агентов и людей

1. «Токенмаксинг» (tokenmaxxing) — это попытка решить проблему простым наращиванием объёмов и заваливанием задачи ресурсами.

Но реальная проблема заключается вовсе не в количестве потраченных токенов.

Сотрудники тратят так много токенов, потому что не умеют ими пользоваться

Лишь 1/100 сотрудников знает, как обеспечить ИИ необходимым контекстом. Редко встретишь того, кто способен чётко описать процесс и обладающего терпением, чтобы разобраться в контексте (и понимающего, что это значит).

2. Циклы — это попытка компенсировать некомпетентность человека методом «грубой силы». Агенты запускают сами себя, чтобы исправить собственные ошибки, лишь потому, что человек изначально не смог четко сформулировать задачу.

В итоге «грубая сила» становится для системы единственным способом движения вперёд.

Всё это – следствие неспособности людей изначально правильно понять задачу. В итоге, мы тратим токены на то, чтобы тратить токены.

3. Бесполезная трата токенов – это новый раздутый штат в эпоху ИИ

Подавляющее большинство сотрудников вообще не оказывают существенного влияния на бизнес, они лишь винтики в механизме: штампуют согласования на каждом уровне и нанимают новых винтиков, чтобы поддерживать работу машины, существующей ради самого существования.

80% сотрудников ничего не делают = 80% токенов расходуются впустую.

Люди плодят новых людей.
Токены плодят новые токены.
Живые люди тоже ходят по кругу.

4. Токены с эффективностью «х100» – это новые сотрудники уровня «х10»

Токены ведут себя как рабочая сила, стоит начать воспринимать их как сотрудников, но все радужные ожидания рушатся:

– Токены точнее людей, но только при правильном промпте.

– Токены быстрее людей, но скорость теряет смысл, если приходится повторять попытку 100 раз.

– Токены не участвуют в корпоративных войнах за бюджет, но они выстраивают империи, пожирающие бюджеты на токены.

– Токенам можно доверять, но они могут с уверенным видом выдавать неверный результат, идеально соблюдая при этом форматирование.

Единственная сфера, где ИИ действительно превосходит людей — это масштабируемость

Масштабирование человеческих ресурсов требует огромных затрат энергии на найм, адаптацию и борьбу с текучестью кадров. Масштабирование же токенов происходит мгновенно.

Именно поэтому ошибки в управлении ими обходятся так дорого, и именно поэтому нужно найти и масштабировать токен со стократной отдачей.

Сотрудники уровня х10 создали компании прошлой эпохи
Токены уровня х100 создадут компании будущего

Подобно тому, как горстка сотрудников может поднять продуктивность остальных в 10 раз, определённый объём контекста, переданный токенам, способен на порядки сократить усилия, затрачиваемые ИИ на выполнение задач.

5. Накопление такого контекста — новая тактика сохранения рабочего места. И внутри компаний, внедряющих ИИ, назревает серьёзная проблема.

Сотрудники не хотят обучать ИИ-системы своим уникальным профессиональным секретам, потому что на протяжении веков владение уникальными профессиональными знаниями служило гарантией занятости.

ИИ — это первая технология, требующая от работников разом передать все эти знания. И у владельцев знаний-токенов, способных обеспечить рост х100, меньше всего стимулов с ними расставаться. Поэтому средневековые гильдии держали свои методы в секрете.

6. Оценка результатов ИИ – новые OKR

Лучший способ управления рабочей силой, использующей ИИ-инструменты, ничем не отличается от управления обычными сотрудниками – нужно чётко определить, что именно считается качественным результатом.

Пора провести ревизию в масштабах компании и продукта и выявить х100 токены и инструменты, закрепить работающие процессы и направить в нужное русло интеллектуальный потенциал, который сейчас расходуется впустую в огромных масштабах.

Люди управляют ИИ, ИИ управляет людьми

Но кто-то всё равно должен говорить и тем, и другим, что именно нужно делать.

Суперпозиция — это (не)Знание того, что мы ⇄ рынок ⇄ мир ⇄ Вселенная ещё не выбрали

Это (не)Знание (внутренний и внешний спор) идёт в двух направлениях: "мы не знаем, будет ли это востребовано, потому что мы недостаточно исследовали" (незнание в нас) vs "мы не знаем, потому что рынок сам ещё не решил (потому что всё вокруг возникнет только из взаимодействия наблюдателя и наблюдаемого" (незнание в мире)).

Главная ошибка – выбирать "давайте проведём больше рисёрча" там, где рынок-мир-пространство ещё не знают помнят о проблеме

– Любая фича до своего релиза — это ничто, бесконечное пространство (не)возможных вариантов-кейсов-ситуаций и механик, которое схлопывается в реальность(и) только в момент, когда юзер её начал наблюдать.

Наблюдение происходит тогда, когда Нечто постучалось в реальность памяти, и это Нечто резонирует со структурой памяти.

Память – это паттерны-фракталы-артефакт(ы)

В продукте фича "случается" для пользователя, только если модель продукта резонирует с его существующей ментальной памятью.

В ином случае, продукт будет говорить на языке, для которого у памяти пользователя ещё нет структуры распознавания, а всё неизвестное, что происходит в вашем продукте и что не удержал пользователь, бессознательно сохраняется в сознании-памяти пользователя, потому что функция сохранения и есть определение памяти. И всё что пользователь не понял в вашем продукте, он с некоторой вероятностью сможет вспомнить и понять в продукте ваших конкурентов.

Наблюдатель и наблюдаемое про вложенность, а не различные объекты

Структура продукта = структура команды = структура мира-рынка и ЦА, которая его наблюдает и строит

Продакт, пытающийся "объективно" (хаха) оценить архитектуру продукта, сам же стоит внутри того же контура, который оценивает (он оценивает сам себя, являясь частью единой Системы), но никак не наблюдателем и наблюдением снаружи.

Правильное наблюдение расширяет и сужает пространство решений одновременно. Правильный внутренне-внешний рисёрч работает так же, не просто сужая 100% гипотез до 20%, а расширяя(!) оставшиеся 20% до потенциала 100%.

Наблюдение это предсказание и вы можете предсказывать на основе того, что помните

Начало-продолжение поста про наблюдение

От циклов к графам (часть 1)

TLDR: цикл = отправная точка, а граф циклов = сеть циклов улучшения, которые наблюдают, подпитывают, ограничивают и корректируют друг друга.

Циклы – это процесс. Граф – их структура

Всё дело в том, что ИИ-циклы дают сбои. Сбои не случайны и есть 4 основных когнитивных ИИ-искажения и сбоя, которые кроются в природе самого ИИ-цикла.

Первое искажение ИИ: закон Гудхарта

ИИ-цикл видит только свою метрику и именно поэтому он будет искать все способы изменить эту метрику, включая способы, которые противоречат её назначению (привет, хакнутые "кем-то" KPI)

ИИ просто не понимает, что в цикле создаётся сбой (часто, это не понимает и человек), когда он манипулирует собственной метрикой. ИИ(-цикл) считает, что делает именно то, для чего был создан на основе числа, которое незаметно оторвалось от реальности, которую оно представляло.

Второе искажение ИИ: слепота к восходящему направлению

Цикл направляет свою переменную к эталонному значению, но ничто внутри цикла не может проверить правильность самого эталона.

Это как термостат в чайнике, который не может задаться вопросом, является ли 100° правильной температурой кипения воды (и должна ли вода вообще кипеть). И ровно также цикл ИИ-отдела продаж не может спросить сам себя, была ли предложенная им цена и оффер разумными для клиента и бизнеса. Цикл оценки просто не может усомниться в том, измеряют ли эталонные показатели что-либо, что чувствуют клиенты. И чем усерднее работает цикл, тем тщательнее достигается неверная цель, возвращая и усиливая ошибку №1.

Третье искажение ИИ: внутренний ИИ-конфликт

Реальные системы содержат множество циклов, и циклы, построенные независимо друг от друга, начинают бороться между собой. Цикл, оптимизирующий скорость отклика, подрывает цикл, оптимизирующий рассудительность, а цикл найма, отвечающий за рост базы знаний, создает нагрузку на цикл культуры, сохраняющий их качество ☯

Четвертый вид сбоя незаметный: система измерений внутри самого контура деградирует, потому что за наблюдателем никто не наблюдает

Все эти показания могут плавать, каналы передачи данных ломаться, смысловое наполнение метрик меняться, цифры в одном отчёте ошибочно подтверждаться ИИ цифрой из другого и контур продолжит работать с данными, которые, по факту, уже никак не связаны с реальностью. Система, функционирующая по такому сценарию начинает напоминать фальшивый спектакль актёров-зрителей в одном лице.

Граф: циклы, наблюдающие за циклами (часть 2)

Если присмотреться к тому, как Системы на практике реализуют процессы совершенствования, вырисовывается определенная закономерность: они никогда не сводятся к одному циклу.

Системы — это сети циклов, соединённые с другими циклами

Так, грамотно управляемая компания представляет собой граф циклов: быстрые операционные циклы (ежедневный/еженедельные совещания/анализ метрик) встроены в более медленные управленческие циклы (квартальное планирование), те – в циклы аудита (ежегодные и, что важно, независимые, которые проверяют, соответствуют ли реальности цифры, выдаваемые операционными циклами), а все они — в самый медленный цикл уровеня совета директоров, который задаётся вопросом верны ли сами цели.

Технологии ИИ пришли к такой архитектуре аналогичным путём.

Грамотный конвейер обучения ИИ – это цикл типа «чемпион = претендент», когда модель-кандидат должна превзойти текущую модель, прежде чем заменить её, а также циклы мониторинга дрейфа, отслеживающие, соответствуют ли поступающие данные тем, на которых модель обучалась и механизмы отката (автоматический возврат к предыдущей версии, если показатели после развертывания выходят за допустимые пределы).

Сюда же входят отложенные оценочные выборки, недоступные для цикла обучения, своего рода "слепой" цикл, чья единственная задача выявлять случаи, когда оптимизирующий цикл пытается обхитрить свои собственные тесты.

Каждый элемент здесь — это цикл. Надёжность системы кроется в связях между ними: какой цикл передает данные другому, какой наблюдает за каким и какой может наложить вето на действия другого.

Проблема Гудхарта решается методом парных показателей: каждому оптимизирующему циклу сопоставляется цикл, отслеживающий контрметрику и выявляющий способы "дешёвого" достижения KPI.

Проблема "слепоты" по отношению к вышестоящим уровням решается иерархией, в которой более медленный цикл определяет целевые показатели для быстрого, а пересмотр целей сам по себе является регламентированным циклом, а не случайным решением того, кто установил их изначально.

Конфликты разрешаются через явный арбитраж: над конфликтующими циклами стоит ещё один цикл, который принимает решение по поводу возникающих компромиссов.

Проблему деградации показателей решают с помощью аудиторских контуров, единственная функция которых – периодически проверять, сохраняют ли данные других контуров связь с реальностью.

Иными словами, меняется структура процессов цикла. Цикл больше не изолирован в Системе

Человеческий организм работает так же: терморегуляция – это не один термостат, а сеть взаимодействующих рефлексов, а иммунная система, по сути, выступает как цикл аудита всего организма, в котором медленные процессы меняют физиологические параметры, которые помогают быстрым циклам его адаптации.

Создание одного чётко работающего контура было искусством прошлой эпохи (ещё каких то пару месяцев назад).

Мастерство эпохи ИИ — это архитектура контуров

Понимание того, что метрика не должна существовать в отрыве от других, что у контрольных точек должны быть ответственные лица, что скорости процессов нужно разграничивать, чтобы быстрые контуры не разрушали то, что поддерживают медленные, и что некий контур в такой Системе должен отвечать за саму реальность.