Достойное применение всех этих ваших технологий.

Adobe Research опубликовали тесты новой модели реконструкции 3D по фотографии. На выходе пока имеем только сплаты.

Хочу отметить довольно высокий уровень сходства моделей с изначальной фотографией, в том числе и в плане расположения полигонов, т.е. силуэты довольно точны.

Обратная сторона моделей додумывается тоже без критичных нареканий.

Волосы на сплатах выглядят великолепно. Остается вопрос: сделают ли они перевод волос на сплайны или плашки (что вряд ли).

Кроме этого, модель отлично справляется с переводом видео в splat sequence, правда, пока с пониженным количеством кадров. Nvidia же с этим поможет, да?

Git
Project
Paper
Youtube

Microsoft в своем блоге сообщили, что новые версии DirectX, которые они сейчас разрабатывают, будут нацелены на поддержку нейронного рендеринга.

Кооперативные вектора - это технология которая будет раскрывать потенциал тензорных ядер на видеокартах для вывода нейронных шейдеров, оптимизируя и ускоряя просчеты и вывод результатов.

Как работают обычные пиксельные шейдеры, которые мы используем сейчас? Это программы, обрабатывающие каждый пиксель на экране - они отвечают за освещение, текстуры, тени и все визуальные эффекты в играх. Работают они по строгим математическим формулам и дают предсказуемый результат, что годами было стандартом в индустрии.

В отличие от классических шейдеров, нейронные используют машинное обучение и способны "додумывать" детали изображения. Именно так - они могут создавать более реалистичные текстуры, оттуда же и компрессия текстур высокого разрешения, улучшать освещение и генерировать новые детали в реальном времени.

Конечно, за красоту приходится платить - нейронные шейдеры требуют больше вычислительной мощности. Качество картинки выходит на новый уровень, особенно в связке с трассировкой лучей. При этом классические шейдеры никуда не денутся - обе технологии будут работать вместе, дополняя друг друга, пока.

В контексте текущей, ползущей, революции рендеринга, хочется отметить, что новые технологии для разработчиков приносят еще больше нагрузки, ожиданий, требований и конечно багов.

С одними только нанитами и люменом, я себе в мозг заложил наверное процентов 15 новой информации чего можно с ними делать а чего нельзя. С шейдерами будет та же история. Запросы у аудитории вырастут настолько, что разрабы будут пищать только бы дали какую нибудь нейронку для упрощения работы, потому что количество работы вырастет в разы.

Мы сейчас работаем над проектом в котором требования к технической и художественной детализации настолько дико высокие, что иногда даже не очень понятно синематик мы делаем или игровой процесс. Так что, конечно, не нужно думать что с нейронками количество работы уменьшится, она просто станет другой, ебаться будем с другими проблемами, чтобы сделать красиво и интересно.

@CGIT_Vines

Лучший перфоманс Beepl'a

Krea добавила инструмент, который переводит некоторые объекты генерации в трехмерное представление.

Помните, я говорил: когда все наиграются с красивыми картинками, начнут уходить в тулзы? Надеюсь, это уже началось. На самом деле, для такого инструмента не нужна суперточная система генерации геометрии, и это хорошо. Перевод объекта в 3D займет наименьшее количество времени, остальное дорисуется.

Кажется, мы увидели гибрид пейджера и телефона.

@CGIT_Vines

Совсем скоро начнут релизиться первые игры с системой Nvidia ACE. Это та, которая позволяет прогонять личности NPC через LLM. Они могут помогать вам на поле боя, мешать вам на поле боя, сливать катку, долго не слушаться ваших просьб и приказов. Еще они могут быть проводниками по интерфейсу, дополнять туториалы, знакомить вас с механиками, шутить (только не это, юмор у ИИ пока отвратный) и еще их можно будет романсить.

Они будут очень сильно раздражать, иногда удивлять, но совершенно точно будут хорошо помогать продавать новые поколения видеокарт, потому как текущее поколение ACE будет вычисляться локально на вашей машине.

Среди списка, что я перечислю, лично у меня большие надежды на GTA6, потому как я уверен, что какую-нибудь LLM прикрутят туда.

inZOI - появятся NPC заполняющие пустой мир, обучающиеся на дневном полученном опыте во время сна.

ZooPunk - пока что показали только одного NPC в сейфзоне который будет помогать вам кастомизировать корабль.

PUBG - компаньон о котором не лестно отзываются после того как на презентации ему кричали в микрофон садиться машину в течении 15 секунд пока он продолжал атаковать врагов. (На просчёт раков в команде теперь нужно будет потратить свое электричество)

World of Jade Dynasty - эту реализацию ругают в основном за то что разработчики будут лениться делать хороший мокап и липсинг спихивая всю работу на автоматизацию делая бездушных персонажей еще более мертвыми.

За это же ругают Alien: Rogue excursion - на мой взгляд наиболее удачное применение, т.к. вы говорите с синтетиком.
На канале Nvidia еще есть примеры других игр.

Если вспомнить историю кино и как актеры там отыгрывали роботов буквально с начала 20 века по наши дни, идея не изменилась, изменились детали. Мы стали больше знать про искусственные машины и то, как они могут проявляться в деталях, ушли от тупого подражания движениям тела "железки" к философским размышлениям. Так и тут: железо станет более приемлемым и принимаемым для нас, ведь нам еще с ними сливаться.

Не сиди близко к телевизору, глаза испортишь!

Продолжим истории с генеративными окружениями.
GameFactory - который позволяет исследовать генеративное окружение опираясь на входе на ваш промпт, такой text2game. Хотя это конечно же не игра в привычном понимании, в которой есть только движения по плоскости и прыжок. Никакой стрельбы или других механик.

Обучалось все это на 70 часах видео майнкрафта + video diffusion model. Что интересно работает это не только на привычных открытых пространствах, но и в подводных локациях, опять же нет никакого импакта на управление, вы просто слайдите по окружению.
Демки, к сожалению пока никакой нету.

Project：https://vvictoryuki.github.io/gamefactory/
arXiv：https://arxiv.org/abs/2501.08325
Code：https://github.com/KwaiVGI/GameFactory

@CGIT_Vines

В Suno появилась функция audio input, теперь можно записать свои звуки, речь, и собрать из этого композицию.

Я когда спотифай слушаю, каждый раз ловлю себя на мысли сколько сгенерированных треков я уже послушал не подозревая этого.

На сколько просто теперь стало делать музыку, все еще удивляюсь.

Китайский DeepRobotics в который раз показывает совершенно сумасшедшие демки DEEPRoboticsLynx модели модифицированного пса, только уже с колесами.

Все это выглядит настолько необычно, что люди начинают подозревать, что в видео использовалось 3D или AI.
В ближайшие 5-10 лет будем наблюдать еще более невероятные робо-мувы благодаря гонке не только ИИ, но и его физического воплощения.

Значит, смотрите, все как учил вас в 2025!

Сначала отстреливаем каждую из семи щупалец. После того как он перестанет вас хватать, целимся в светящийся оранжевый треугольник, между сенсорами. Как убьете, не подходите сразу для сбора дропа — после смерти они, как правило, взрываются!

Надеюсь, никто не закупался накануне.

Ежедневная ситуация в комментариях