🦖 Айти Тудэй 🦥
8.52K subscribers
15K photos
806 videos
18 files
2.03K links
Авторский бутик айти мемов и не только
Всё самое полезное по тэгу #деградироватьпришёл

Разбан https://t.me/ithueti/18131

Футболочки и чат для своих http://ithueti.club

Реклама: http://ithueti.club/ad / https://telega.in/c/ithueti
Download Telegram
😁5616🤡2
144✍6🥰2🤔1
7711😁11
121😁2172🥰1
87🦄12😁3
122😍8😁62
50288✍2😁2
Когда попробовал раст
😁5024
87😁7🤡4
https://habr.com/ru/news/935674/

Пропустил очередной срач от Линуса, был занят настоящей жизнью: помогал черепашкам, купался в бассейне пил пиво и жарил мясо.

Ситуация коротко и не совсем точно: Линус зашеймил инженера за то, что он сделал макрос make_u32_from_two_u16 вместо того, чтобы просто написать 2 операции.

Как любой человек, который "не думает, а знает", Линус конечно прав. Но профдеформация у всех разная, я поработал в диаметрально противоположных по культуре компаниях и у меня сразу возник вопрос: "А нам что нужно, чтобы каждый наш инженер мог написать битовый сдвиг или чтобы мы были уверены что каждый наш инженер, планируя сделать битовый сдвиг - сделал это правильно?"

А кем определяется наше "правильно"? Собранием важных архитекторов? Мейнтейнером? Здравым смыслом?

Нет, конечно контрибьютя в ядро, надо отталкиваться от того, что твой код будет ревьюить токсичный нацист, настоящий представитель белой расы и просто хороший человек.

Но в общем случае правильного ответа на вопрос "нужен ли макрос make_u32_from_two_u16" не существует.
😍3118💔43
🗺 Как “слепая” LLM видит Землю

Чувак решил проверить, какую карту мира “держит в голове” Large Language Model, никогда напрямую не видевшая планету. Эксперимент прост, но изящен: для равномерно выбранных координат (lat/long) модель получает вопрос:

“If this location is over land, say ‘Land’. If this location is over water, say ‘Water’.”

Дальше берутся logprobs для токенов “Land” и “Water” и через softmax превращаются в вероятности. Так, точка за точкой, строится equirectangular-проекция «внутренней карты» модели.

🔍 Нюансы и находки:
• Масштаб имеет значение: от 500M параметров, где “всё суша”, до 1T+ параметров с узнаваемыми Африкой, Южной Америкой и даже Антарктидой.
• Instruction-tuning и MoE routing сильно влияют на результат — иногда разрушая, иногда улучшая “географическую память”.
• Мультимодальные модели пока не дают явного скачка качества — вероятно, их “зрение” ещё слишком грубое.
• У некоторых LLM формируются удивительно “гладкие” границы материков, что говорит не о запоминании карт, а о внутреннем представлении глобальных форм.

💡 Автор предполагает, что у моделей есть некий “Platonic Primitive Representation” планеты — абстрактная схема, проявляющаяся даже у относительно маленьких LLM.

Статья: https://outsidetext.substack.com/p/how-does-a-blind-model-see-the-earth

@toshoseti
✍299👏6🤯2
99😢15🥰2