Forwarded from $ git rebase it memes (AI)
This media is not supported in your browser
VIEW IN TELEGRAM
💋38🥰3
https://habr.com/ru/news/935674/
Пропустил очередной срач от Линуса, был занят настоящей жизнью: помогал черепашкам, купался в бассейне пил пиво и жарил мясо.
Ситуация коротко и не совсем точно: Линус зашеймил инженера за то, что он сделал макрос
Как любой человек, который "не думает, а знает", Линус конечно прав. Но профдеформация у всех разная, я поработал в диаметрально противоположных по культуре компаниях и у меня сразу возник вопрос: "А нам что нужно, чтобы каждый наш инженер мог написать битовый сдвиг или чтобы мы были уверены что каждый наш инженер, планируя сделать битовый сдвиг - сделал это правильно?"
А кем определяется наше "правильно"? Собранием важных архитекторов? Мейнтейнером? Здравым смыслом?
Нет, конечно контрибьютя в ядро, надо отталкиваться от того, что твой код будет ревьюить токсичный нацист, настоящий представитель белой расы и просто хороший человек.
Но в общем случае правильного ответа на вопрос "нужен ли макрос
Пропустил очередной срач от Линуса, был занят настоящей жизнью: помогал черепашкам, купался в бассейне пил пиво и жарил мясо.
Ситуация коротко и не совсем точно: Линус зашеймил инженера за то, что он сделал макрос
make_u32_from_two_u16 вместо того, чтобы просто написать 2 операции.Как любой человек, который "не думает, а знает", Линус конечно прав. Но профдеформация у всех разная, я поработал в диаметрально противоположных по культуре компаниях и у меня сразу возник вопрос: "А нам что нужно, чтобы каждый наш инженер мог написать битовый сдвиг или чтобы мы были уверены что каждый наш инженер, планируя сделать битовый сдвиг - сделал это правильно?"
А кем определяется наше "правильно"? Собранием важных архитекторов? Мейнтейнером? Здравым смыслом?
Нет, конечно контрибьютя в ядро, надо отталкиваться от того, что твой код будет ревьюить токсичный нацист, настоящий представитель белой расы и просто хороший человек.
Но в общем случае правильного ответа на вопрос "нужен ли макрос
make_u32_from_two_u16" не существует.😍31 18💔4 3
Forwarded from То шо нейросети
🗺 Как “слепая” LLM видит Землю
Чувак решил проверить, какую карту мира “держит в голове” Large Language Model, никогда напрямую не видевшая планету. Эксперимент прост, но изящен: для равномерно выбранных координат (lat/long) модель получает вопрос:
“If this location is over land, say ‘Land’. If this location is over water, say ‘Water’.”
Дальше берутся logprobs для токенов “Land” и “Water” и через softmax превращаются в вероятности. Так, точка за точкой, строится equirectangular-проекция «внутренней карты» модели.
🔍 Нюансы и находки:
• Масштаб имеет значение: от 500M параметров, где “всё суша”, до 1T+ параметров с узнаваемыми Африкой, Южной Америкой и даже Антарктидой.
• Instruction-tuning и MoE routing сильно влияют на результат — иногда разрушая, иногда улучшая “географическую память”.
• Мультимодальные модели пока не дают явного скачка качества — вероятно, их “зрение” ещё слишком грубое.
• У некоторых LLM формируются удивительно “гладкие” границы материков, что говорит не о запоминании карт, а о внутреннем представлении глобальных форм.
💡 Автор предполагает, что у моделей есть некий “Platonic Primitive Representation” планеты — абстрактная схема, проявляющаяся даже у относительно маленьких LLM.
Статья: https://outsidetext.substack.com/p/how-does-a-blind-model-see-the-earth
@toshoseti
Чувак решил проверить, какую карту мира “держит в голове” Large Language Model, никогда напрямую не видевшая планету. Эксперимент прост, но изящен: для равномерно выбранных координат (lat/long) модель получает вопрос:
“If this location is over land, say ‘Land’. If this location is over water, say ‘Water’.”
Дальше берутся logprobs для токенов “Land” и “Water” и через softmax превращаются в вероятности. Так, точка за точкой, строится equirectangular-проекция «внутренней карты» модели.
🔍 Нюансы и находки:
• Масштаб имеет значение: от 500M параметров, где “всё суша”, до 1T+ параметров с узнаваемыми Африкой, Южной Америкой и даже Антарктидой.
• Instruction-tuning и MoE routing сильно влияют на результат — иногда разрушая, иногда улучшая “географическую память”.
• Мультимодальные модели пока не дают явного скачка качества — вероятно, их “зрение” ещё слишком грубое.
• У некоторых LLM формируются удивительно “гладкие” границы материков, что говорит не о запоминании карт, а о внутреннем представлении глобальных форм.
💡 Автор предполагает, что у моделей есть некий “Platonic Primitive Representation” планеты — абстрактная схема, проявляющаяся даже у относительно маленьких LLM.
Статья: https://outsidetext.substack.com/p/how-does-a-blind-model-see-the-earth
@toshoseti
Substack
How Does A Blind Model See The Earth?
A brief exploration with many maps and many models
✍29 9👏6🤯2
Господин Архитектор
Минутка бесполезной информации Язык Python был назван в честь британской комик-труппы Monty Python. "Python" это имя змея, убитого Апполоном, он происходил по легендам из местности, названной греческим словом Pytho (Πυθώ). Так раньше назывался город Дельфы.…
Почему именно Delphi 8?
🤡18🤔10😁1 1