Forwarded from Naked Science
Ровно 40 лет назад случилась крупнейшая катастрофа в истории ядерной энергетики.
Наша статья о Чернобыле, разбирающая мифы об этом событии, вышла шесть лет назад. Но мы до сих пор сталкиваемся с тем, что мифы живее всех живых — а реально вредные последствия тех событий продолжают быть предельно малоизвестными. Похоже, что этот материал будет оставаться актуальным еще очень и очень долго:
https://naked-science.ru/article/nakedscience/chernobyl-kak-aes-spasli
Наша статья о Чернобыле, разбирающая мифы об этом событии, вышла шесть лет назад. Но мы до сих пор сталкиваемся с тем, что мифы живее всех живых — а реально вредные последствия тех событий продолжают быть предельно малоизвестными. Похоже, что этот материал будет оставаться актуальным еще очень и очень долго:
https://naked-science.ru/article/nakedscience/chernobyl-kak-aes-spasli
❤38👍4👎2👏1
Очередная интересная первая ласточка: на конференции ICLR 2026 в Рио сегодня идёт воркшоп «AI with Recursive Self‑Improvement (RSI 2026)» — вероятно, первый специализированный форум именно по алгоритмам самосовершенствования ИИ: от LLM‑агентов, переписывающих свой собственный код и промпты, до систем научного поиска, которые сами планируют и проводят эксперименты. Организаторы прямо говорят, что цель — разработать алгоритмические основы мощных и надёжных самоулучшающихся систем. Интересно, как скоро ласточек станет побольше, и наступит рекурсивно самоулучшающаяся ИИ-весна:))
https://iclr.cc/virtual/2026/workshop/10000796 объявление про достижение ученых из Шанхая:
https://www.avantgardenews.com/news/asi-evolve-ai-model-mimics-scientific-discovery-loops-20260420
https://iclr.cc/virtual/2026/workshop/10000796 объявление про достижение ученых из Шанхая:
https://www.avantgardenews.com/news/asi-evolve-ai-model-mimics-scientific-discovery-loops-20260420
Avantgardenews
ASI-Evolve: Shanghai Researchers Launch Self-Improving AI Model
Shanghai Jiao Tong University scientists unveil ASI-Evolve, an agentic framework that autonomously improves AI architectures through scientific loops.
🔥29❤5👍5💩2
Было время, крутизна и инновационность Tesla явно читалась уже в том факте, что она выпускает электромобили, а не машины с ДВС. Потом электромотор перестал быть уникальным атрибутом и дифференциатором, зато появилась автономность. А теперь Tesla объявила, что повышает план капитальных затрат на 2026 год до более чем 25 млрд долларов — это почти втрое больше, чем в 2025‑м, и на 5 млрд выше январского ориентира «более 20 млрд»; при этом основная часть инвестиций идёт в ИИ‑компьютинг, роботакси‑платформу Cybercab (уже без руля и педалей), гуманоидов Optimus и собственную чиповую инфраструктуру. Нынче фронтирная инновационность стоит как никогда дорого и выглядит как-то так.
https://thenextweb.com/news/tesla-25-billion-capex-2026-optimus-robotaxi-ai-chip-fab
https://thenextweb.com/news/tesla-25-billion-capex-2026-optimus-robotaxi-ai-chip-fab
TNW
Tesla raises 2026 capex to $25 billion
Tesla raised its 2026 capex guidance to $25B,covering six factory ramps, Optimus production from July, AI compute doubling, and an Austin chip fab.
👍27❤15💩8🔥1
Количество моих колонок на Forbes перевалило за полсотни, а я даже не заметил:) При этом самая свежая из них оказалась для меня самого непривычной: редактор предупредил, что темой номера будут миллиардеры и предложил попробовать как-то к ней привязаться. На заказ писать умею плохо, но тут стало интересно, как любимые мои технологии совокупить с миллиардерами:) Вышло странновато, но желающие могут почитать:
https://www.forbes.ru/tekhnologii/558498-bez-cuvstv-i-emocij-pocemu-milliardery-ne-brezguut-ii
https://www.forbes.ru/tekhnologii/558498-bez-cuvstv-i-emocij-pocemu-milliardery-ne-brezguut-ii
Forbes.ru
Без чувств и эмоций: почему миллиардеры не брезгуют ИИ
Среди ИИ-скептиков и тем более ИИ-ненавистников уже давно популярен нарратив про второсортность ИИ. Часто можно услышать, что развитие ИИ способствует дальнейшему расслоению общества: богатым доступны персональные услуги (адвокаты, врачи, личные асси
❤24💩5👍2
Не совсем, конечно, горячая новость, но все равно прикольно: китайцы еще раз показали как умеют тиражировать и вообще ставить на поток чужие находки, не вышедшие у авторов из стадии экспериментов.
Публикации про генетически модифицированые растения, способные светиться в темноте, периодически мне попадались уже несколько лет. Однако это были либо лабораторные эксперименты, либо art-and-science проекты. А вот теперь, спасибо генам светлячков и светящихся грибов, разработана целая линейка светящихся растений, в том числе вполне привычных: орхидеи, подсолнухи, хризантемы — всего около 20 видов.
Свет неяркий, но создатели светящейся флоры уверены, что такие растения вполне могут подсветить совсем темные аллеи без искусственного освещения и стать основой привлекательных городских композиций в публичных пространствах. Я б в таком парке погулял безлунной ночью:)
https://futurism.com/science-energy/bioengineering-plants-glow-light-cities
Публикации про генетически модифицированые растения, способные светиться в темноте, периодически мне попадались уже несколько лет. Однако это были либо лабораторные эксперименты, либо art-and-science проекты. А вот теперь, спасибо генам светлячков и светящихся грибов, разработана целая линейка светящихся растений, в том числе вполне привычных: орхидеи, подсолнухи, хризантемы — всего около 20 видов.
Свет неяркий, но создатели светящейся флоры уверены, что такие растения вполне могут подсветить совсем темные аллеи без искусственного освещения и стать основой привлекательных городских композиций в публичных пространствах. Я б в таком парке погулял безлунной ночью:)
https://futurism.com/science-energy/bioengineering-plants-glow-light-cities
Futurism
Chinese Scientists Bioengineering Plants With Firefly Genes to Glow, in Effort to Light Cities at Night
A team of scientists in China have unveiled over twenty species of glow in the dark plants that could help light parks and cities.
1❤74🔥39👍8
Тут пока все будет сильно нерегулярно, потому что я до 11 мая в отпуске в краях, где с интернетом очень не очень;)
Поэтому вот вам вместо серьезных новостей просто ролик от NASA, в котором спрессовались в таймлапс 6 лет (!) путешествия ровера Curiosity по планете
https://www.jpl.nasa.gov/images/pia26721-six-years-of-curiositys-wheels-on-the-move/
Поэтому вот вам вместо серьезных новостей просто ролик от NASA, в котором спрессовались в таймлапс 6 лет (!) путешествия ровера Curiosity по планете
https://www.jpl.nasa.gov/images/pia26721-six-years-of-curiositys-wheels-on-the-move/
NASA Jet Propulsion Laboratory (JPL)
Six Years of Curiosity’s Wheels on the Move
Description NASA’s Curiosity Mars rover used its right navigation camera — one of two on the rover’s mast, or head — to capture the images in this timelapse, which spans six years of driving. The images were snapped between Jan. 2, 2020, and March 8, 2026…
❤27👍9🔥1
В OpenAI решили вечеринку по случаю запуска GPT-5.5 закатить в подходящую дату: 5.5, то есть 5 мая, и для пущего пиара попросили саму модель составить сценарий мероприятия, "the flow of the party". Сэм Альтман утверждает, что она как раз и предложила красивую дату, отказалась сама выступать с тостом, но попросила своих создателей с ними выступить, а речи сделать краткими. А еще она предложила фокусом мероприятия сделать сбор пожеланий по поводу следующей версии 5.6 — и загрузить собранные хотелки в нее. "We're going to do it," заявил Альтман. "But it was a strange thing."
Подождем отчетов о том, как все пройдет:)
https://africa.businessinsider.com/news/sam-altman-asked-gpt-55-to-plan-its-own-launch-party-its-requests-were-beautiful-but/yd4lt00
Подождем отчетов о том, как все пройдет:)
https://africa.businessinsider.com/news/sam-altman-asked-gpt-55-to-plan-its-own-launch-party-its-requests-were-beautiful-but/yd4lt00
Business Insider
Sam Altman asked GPT-5.5 to plan its own launch party. Its requests were 'beautiful' but 'strange.'
Sam Altman asked GPT what it would like for its launch celebration. Its suggestions included toasts from its creators (but not the AI itself).
💩24👍13😁11❤6🔥3
Forwarded from AI меняет культуру | Trabun
Голливуд наконец вошел в эру AI.
The Hollywood Reporter — одно из важнейших изданий о кино, выпустило специальный выпуск про AI и индустрию.
Что это значит. Сам факт такого номера от главного голливудского издания, это институциональный жест. THR не стал бы публиковать просто тренды или хайп, это буквально индустриальное высказывание. В 50-е годы журнал так нормализовывал телевидение, в 80-е — кабельные каналы, в 2010-е — стриминги.
По сути это выпуск о том, как Голливуд теперь (будет) устроен. И это любопытно.
Вот самое интересное:
1️⃣ . Curious Refuge AI Film School
Рассказ об онлайн-школе AI-кинопроизводства Curious Refuge. 95% студентов — действующие профи Голливуда. Курс $749 + $200–500 на инструменты для одного видео.
2️⃣ . How India Became the World's AI Film Lab
Пожалуй самый интересный репортаж номера. Без профсоюзов и регуляций Индия стала живой лабораторией AI: студия Eros переписала финал хита Raanjhanaa через AI вопреки режиссёру и главной звезде картины; Mammootty омолаживают на тысяче фотографий; AI-дубляж YRF и JioHotstar угрожает 20 000 актёрам озвучки. Голливуд плетется в хвосте аишного Болливуда.
3️⃣ . The Music Industry Crosses an AI Tipping Point
Интервью с Майки Шульманом (Suno) о том, что продюсеры и сонграйтеры начали публично признавать использование Suno. Udio/Suno урегулировали проблемки с UMG и WMG, Sony продолжает судиться. Татьяна Цирисано (Midia) утверждает, что музиндустрия лучше готова к AI-эре, чем кино.
4️⃣ . Gossip Goblin / Zack London AI Films
Профиль 35-летнего Зака Лондона из LA (живёт в Стокгольме), бывшего продакт-дизайнера Oculus. Под ником Gossip Goblin собрал 1+ млн в Instagram сай-фай AI-короткометражками. Создал первый 20-минутный фильм The Patchwright (приложен к посту).
5️⃣ . AI Film Restoration
Fable Studios берётся за восстановление The Magnificent Ambersons Орсона Уэллса до его задуманной версии (через AI-генерацию утраченных сцен с Энн Бакстер). Фильм The Wizard of Oz расширили для сферического кинотеатра в Лас-Вегасе. Этический вопрос: оправдано ли AI-достраивание классики мёртвых режиссёров?
6️⃣ . Matt Stone, Trey Parker, Deep Voodoo
Редкое интервью со Стоуном о их AI-студии Deep Voodoo: дипфейк Кендрика (Smollett/Smith/OJ), Билл Клинтон на Ted, Бен Аффлек для Dunkin' на Super Bowl.
7️⃣ . AI 25: Most Powerful People in AI 2026
Список 25 ключевых фигур AI-Голливуда. Открывается Беном Аффлеком, тайным сооснователем стартапа InterPositive (продан Netflix за ~$600 млн); далее Prem Akkaraju (Stability AI, ex-Weta), Sam Altman + Fidji Simo (OpenAI) и т.д. От tech-execs до режиссёров и активистов.
Голливуд принял AI. А вы говорили — нейрослоп-нейрослоп. Остальное по ссылке.
The Hollywood Reporter — одно из важнейших изданий о кино, выпустило специальный выпуск про AI и индустрию.
Что это значит. Сам факт такого номера от главного голливудского издания, это институциональный жест. THR не стал бы публиковать просто тренды или хайп, это буквально индустриальное высказывание. В 50-е годы журнал так нормализовывал телевидение, в 80-е — кабельные каналы, в 2010-е — стриминги.
По сути это выпуск о том, как Голливуд теперь (будет) устроен. И это любопытно.
Вот самое интересное:
Рассказ об онлайн-школе AI-кинопроизводства Curious Refuge. 95% студентов — действующие профи Голливуда. Курс $749 + $200–500 на инструменты для одного видео.
Пожалуй самый интересный репортаж номера. Без профсоюзов и регуляций Индия стала живой лабораторией AI: студия Eros переписала финал хита Raanjhanaa через AI вопреки режиссёру и главной звезде картины; Mammootty омолаживают на тысяче фотографий; AI-дубляж YRF и JioHotstar угрожает 20 000 актёрам озвучки. Голливуд плетется в хвосте аишного Болливуда.
Интервью с Майки Шульманом (Suno) о том, что продюсеры и сонграйтеры начали публично признавать использование Suno. Udio/Suno урегулировали проблемки с UMG и WMG, Sony продолжает судиться. Татьяна Цирисано (Midia) утверждает, что музиндустрия лучше готова к AI-эре, чем кино.
Профиль 35-летнего Зака Лондона из LA (живёт в Стокгольме), бывшего продакт-дизайнера Oculus. Под ником Gossip Goblin собрал 1+ млн в Instagram сай-фай AI-короткометражками. Создал первый 20-минутный фильм The Patchwright (приложен к посту).
Fable Studios берётся за восстановление The Magnificent Ambersons Орсона Уэллса до его задуманной версии (через AI-генерацию утраченных сцен с Энн Бакстер). Фильм The Wizard of Oz расширили для сферического кинотеатра в Лас-Вегасе. Этический вопрос: оправдано ли AI-достраивание классики мёртвых режиссёров?
Редкое интервью со Стоуном о их AI-студии Deep Voodoo: дипфейк Кендрика (Smollett/Smith/OJ), Билл Клинтон на Ted, Бен Аффлек для Dunkin' на Super Bowl.
Список 25 ключевых фигур AI-Голливуда. Открывается Беном Аффлеком, тайным сооснователем стартапа InterPositive (продан Netflix за ~$600 млн); далее Prem Akkaraju (Stability AI, ex-Weta), Sam Altman + Fidji Simo (OpenAI) и т.д. От tech-execs до режиссёров и активистов.
Голливуд принял AI. А вы говорили — нейрослоп-нейрослоп. Остальное по ссылке.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥23💩14👍13❤11
Гари Маркус, личность в американской технотусовке известная, продолжает свои мрачные пророчества (местами смахивающие на фантазии). Текущая тема — растет и ширится массовое сопротивление ИИ, работники его активно саботируют, а сама тема ИИ станет определяющей в президентской гонке 2028 года — претендующему на победу придется запретить ИИ, иначе народ не поймет.
ИИ уничтожает образование, помогает глобальной слежке, распространяет дезинформацию, растит заблуждения, помогает фишингу и киберпреступности, разрушает систему наема, увеличивает экономическое неравенство, затапливает мир помоями, вредит окружающей среде… и прочая, и прочая. Ужасный ужас.
Интересные бывают все же пузыри, в которых обитают разные люди:))
https://garymarcus.substack.com/p/the-growing-ai-backlash
ИИ уничтожает образование, помогает глобальной слежке, распространяет дезинформацию, растит заблуждения, помогает фишингу и киберпреступности, разрушает систему наема, увеличивает экономическое неравенство, затапливает мир помоями, вредит окружающей среде… и прочая, и прочая. Ужасный ужас.
Интересные бывают все же пузыри, в которых обитают разные люди:))
https://garymarcus.substack.com/p/the-growing-ai-backlash
Substack
The growing AI backlash
Nobody should be surprised
1😁21❤15👍8💩4🔥1
Forwarded from 42 секунды
Technology Magazine: ИИ не убивает поисковые системы, он переписывает процесс принятия решений
– Обычно ИИ и поисковики представлены как соперники и т.д.
– Этот подход ошибочен и является крайне неполноценным
– На самом деле на рынке происходит структурная конвергенция
– ИИ и поисковики стали объединяться в единую систему
– Система извлекает информацию, принимает решения и др.
– Поисковики долгие годы были основным интерфейсом интернета
– ИИ меняет этот интерфейс, но не саму потребность в нем
– Зависимость от релевантных данных и ранжирования осталась
– Без этих базовых функций качество работы ИИ снижается
– Компании, ориентированные на поиск, внедряют ИИ быстрее
– Среди лидеров по внедрению ИИ: Google, Microsoft, Baidu и Яндекс
– Владельцы поисковиков контролируют нужную инфраструктуру
– Перечисленные компании способны стать лидерами на ИИ-рынке
– Для создания комплексного ИИ нужен контроль на 3 уровнях
– Это извлечение данных, ранжирование и персонализация, синтез
– Лишь несколько компаний успешно работают по всему циклу
– Помимо Google, Microsoft, Baidu и Яндекса это еще Amazon в e-com
– Все пять компаний дают доступ к части инфраструктуры по API
@ftsec
– Обычно ИИ и поисковики представлены как соперники и т.д.
– Этот подход ошибочен и является крайне неполноценным
– На самом деле на рынке происходит структурная конвергенция
– ИИ и поисковики стали объединяться в единую систему
– Система извлекает информацию, принимает решения и др.
– Поисковики долгие годы были основным интерфейсом интернета
– ИИ меняет этот интерфейс, но не саму потребность в нем
– Зависимость от релевантных данных и ранжирования осталась
– Без этих базовых функций качество работы ИИ снижается
– Компании, ориентированные на поиск, внедряют ИИ быстрее
– Среди лидеров по внедрению ИИ: Google, Microsoft, Baidu и Яндекс
– Владельцы поисковиков контролируют нужную инфраструктуру
– Перечисленные компании способны стать лидерами на ИИ-рынке
– Для создания комплексного ИИ нужен контроль на 3 уровнях
– Это извлечение данных, ранжирование и персонализация, синтез
– Лишь несколько компаний успешно работают по всему циклу
– Помимо Google, Microsoft, Baidu и Яндекса это еще Amazon в e-com
– Все пять компаний дают доступ к части инфраструктуры по API
@ftsec
👍15💩7
Об этом уже все отписались, но тут трудно мимо пройти: заключенная между Anthropic и SpaceX сделка в течение месяца даст Anthropic доступ к очень неслабой инфраструктуре: компании становится доступна вся вычислительная мощность комплекса Colossus 1: свыше 220 000 свеженьких GPU от Nvidia (потребляемая электрическая мощность — 300 МВт). Все это облегчит в первую очередь жизнь пользователям топовых планов Claude Code, табличка говорит сама за себя.
Много можно гадать о причинах такого решения Маска; например, можно предположить, что при всей его нелюбви к Anthropic, OpenAI он не любит еще сильней:)) Прочих версий в профильных каналах без меня хватает:)
https://www.anthropic.com/news/higher-limits-spacex
Много можно гадать о причинах такого решения Маска; например, можно предположить, что при всей его нелюбви к Anthropic, OpenAI он не любит еще сильней:)) Прочих версий в профильных каналах без меня хватает:)
https://www.anthropic.com/news/higher-limits-spacex
❤25👍18
Хотя текст ориентирован на венчурную публику, его интересно много кому прочитать: очень сжатый и понятный рассказ, почему автор считает ИИ не просто новым инструментом, а созданием технологии общего назначения. Такие технологии на протяжении нашей истории появлялись не раз (хотя и не слишком часто). А еще не раз частные технологии провозглашались трансформирующими — ошибочно.
Как понять, какой сценарий реализуется на этот раз? Автор на основе рассуждений, которые не буду пересказывать (их полезно целиком прочитать в оригинале), приходит к выводу:
По сути, схожие вещи говорят лидеры бигтехов, но скорее в виде заклинаний, чем логических выводов — поэтому заметку интересно вдумчиво прочитать в оригинале (даже если вывод не нравится;))
https://lukechen.substack.com/p/ai-is-going-to-change-everything
Segway, изобретённый в начале 2000‑х, имел множество влиятельных сторонников, включая Стива Джобса, который, говорят, считал его столь же важным, как персональный компьютер.
Как понять, какой сценарий реализуется на этот раз? Автор на основе рассуждений, которые не буду пересказывать (их полезно целиком прочитать в оригинале), приходит к выводу:
ИИ почти наверняка является преобразующей технологией масштаба печатного станка и компьютера. История не может сказать нам, каков будет тайминг, кто именно извлечёт основную выгоду и какие компании окажутся Гутенбергами, а какие — забытыми печатниками. Но она говорит, что подобная технология, когда появляется, перестраивает индустрии и институты вокруг себя. И степень этой перестройки обычно оказывается больше, чем ожидали люди, живущие в её ранние годы.
По сути, схожие вещи говорят лидеры бигтехов, но скорее в виде заклинаний, чем логических выводов — поэтому заметку интересно вдумчиво прочитать в оригинале (даже если вывод не нравится;))
https://lukechen.substack.com/p/ai-is-going-to-change-everything
Substack
AI is Going to Change Everything (Even if You Lose Money)
Understanding the lifecycles of transformative technologies
❤21👍8
Снова про человекообразных роботов — и, само собой, про Китай. Свежий отчет Morgan Stanley утверждает, что Китай в этой области идет своей привычной и проторенной (автопромом) дорожкой.
Интересны опасений аналитиков: в случае автомобилей, полагают они, мир активно противостоит китайским автопроизводителям, защищая своих собственных, располагающих мощным лобби. А в случае роботов мало кто располагает своими собственными влиятельными конкурентами, и китайцы могут не встретить сильного сопротивления.
https://finance.yahoo.com/sectors/technology/articles/humanoid-robots-drive-next-leg-054252115.html
“China has a track record of spotting the next big growth areas early and planning ahead,” Ahya, the bank’s chief Asia economist, wrote in the report, citing China’s now-dominant EV and battery industries. “The robotics industry has followed a similar path.”
Интересны опасений аналитиков: в случае автомобилей, полагают они, мир активно противостоит китайским автопроизводителям, защищая своих собственных, располагающих мощным лобби. А в случае роботов мало кто располагает своими собственными влиятельными конкурентами, и китайцы могут не встретить сильного сопротивления.
https://finance.yahoo.com/sectors/technology/articles/humanoid-robots-drive-next-leg-054252115.html
Yahoo Finance
Humanoid Robots to Drive Next Leg of China Export Dominance
(Bloomberg) -- China’s early lead in humanoid robots will help power the next phase of its global manufacturing and export dominance, according to new research from Morgan Stanley. Most Read from BloombergUS Has Opened a Passage Through Hormuz, Central Command…
2👍18❤11🔥5👏3😁2💩2
Еще со времен занятий физикой очень любил всякие нелинейности и неустойчивости — есть в них какая-то красота и, что, может быть, важнее — загадка и тайна. Но в повседневной жизни и, что хуже, в бизнесе все для многих кажется очень линейным. И приводит к дорогим ошибкам — примеры копятся столетиями, но почему-то это слабо помогает. Сейчас, как всегда во времена крутых изменений, всякие линейные прогнозы особенно странны и неуместны. Вот про это как раз очередная моя колонка в Forbes
https://www.forbes.ru/tekhnologii/560158-kuda-krivaa-vyvezet-pocemu-kul-t-linejnosti-ubivaet-strategiu
https://www.forbes.ru/tekhnologii/560158-kuda-krivaa-vyvezet-pocemu-kul-t-linejnosti-ubivaet-strategiu
Forbes.ru
Куда кривая вывезет: почему культ линейности убивает стратегию
Век линейного мышления подошел к концу — и бизнес, не отказавшийся от его догм, рискует остаться за бортом. Интуитивная привычка продлевать текущие тренды по прямой подводит даже первоклассных аналитиков: так недооценивали рост солнечной энергетики и
👍34❤16💩2
Ксенопсихологи из Anthropic всерьез занялись перевоспитанием трудных ИИ-подростков 🙂
Они выпустили очередное исследование неподобающего поведения моделей — и в нем вполне нетривиальны и результаты, и выводы.
Казалось бы, соображение “что заложили, то и получили” давно известно, но исследователи поглубже копнули причины иногда возникающего агрессивно-негативного поведения моделей в специально спроектированных тестах.
Оказалось, что из двух гипотез:
1. В ходе post-training ошибочно поощряется неправильное поведение
2. Причина безобразий кроется в изначальном обучении, и post-training оказывается неспособен кардинально переучить модель
— верна вторая.
Оказалось, что традиционный RLHF в виде чата с человеком-тренером уже недостаточен для агентских моделей. И тут как раз приходит на помощь конституция Клода, потому что она обучает этичным рассуждениям в процессе поиска решения, а не просто этичным ответам: на каждый конкретный случай примеров хороших ответов не напасешься. Важней учить причинам и принципам правильности ответа, а не самим верным ответам: although training on aligned behaviors helps, training on examples where the assistant displays admirable reasoning for its aligned behavior works better. А вот неправильных ответов, описывающих поведение злобного ИИ, в обучающих данных навалом: такими сюжетами, в том числе литературными, увы, интернет давно полнится, и модели все это впитывают по ходу обучения.
В итоге:
Обратите внимание на прекрасный заголовок поста:)
https://www.anthropic.com/research/teaching-claude-why
Они выпустили очередное исследование неподобающего поведения моделей — и в нем вполне нетривиальны и результаты, и выводы.
Казалось бы, соображение “что заложили, то и получили” давно известно, но исследователи поглубже копнули причины иногда возникающего агрессивно-негативного поведения моделей в специально спроектированных тестах.
Оказалось, что из двух гипотез:
1. В ходе post-training ошибочно поощряется неправильное поведение
2. Причина безобразий кроется в изначальном обучении, и post-training оказывается неспособен кардинально переучить модель
— верна вторая.
Оказалось, что традиционный RLHF в виде чата с человеком-тренером уже недостаточен для агентских моделей. И тут как раз приходит на помощь конституция Клода, потому что она обучает этичным рассуждениям в процессе поиска решения, а не просто этичным ответам: на каждый конкретный случай примеров хороших ответов не напасешься. Важней учить причинам и принципам правильности ответа, а не самим верным ответам: although training on aligned behaviors helps, training on examples where the assistant displays admirable reasoning for its aligned behavior works better. А вот неправильных ответов, описывающих поведение злобного ИИ, в обучающих данных навалом: такими сюжетами, в том числе литературными, увы, интернет давно полнится, и модели все это впитывают по ходу обучения.
В итоге:
We found that high-quality constitutional documents combined with fictional stories portraying an aligned AI can reduce agentic misalignment by more than a factor of three despite being unrelated to the evaluation scenario.
Обратите внимание на прекрасный заголовок поста:)
https://www.anthropic.com/research/teaching-claude-why
Anthropic
Teaching Claude why
New research on how we've reduced agentic misalignment
❤36👍8🔥1💩1