Ivan Begtin
9.13K subscribers
2.7K photos
5 videos
116 files
5.55K links
I write about Open Data, Data Engineering, Government, Privacy, Digital Preservation and etc.

CTO&Founder of Dateno https://dateno.io

Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Email ivan@begtin.tech

Ads/promotion agent: @k0shk
Download Telegram
Еще одна свежая спецификация Website Spec на сей раз для создания современных сайтов. Казалось бы ничего радикально нового - списки обязательных и рекомендуемых стандартов и лучших практик, начиная от наличия важных атрибутов таких как кодировка и doctype у html и продолжая множеством других практик, стандартов и так далее. Важное отличие от любых других чеклистов в том что эта спецификация для LLM и ИИ агентов. Имеются описания для SKILLS, llms.txt, MCP и многое другое.

Разумно там буквально все, что-то реализуется при разработке кода, что на серверном уровне.

Автор явно думал над тем что делал и спецификация выглядит разумно-расширяемой.

Полезно для всех кто проектирует и разрабатывает сайты с помощью ИИ, разрабатывает дизайн и актуализирует существующие сайты.

#specifications #tools
👍75
По поводу блокировок в России Pypi, репозитория библиотек кода для Python и заявлений Роскомнадзора по поводу того что "это не они", все довольно просто. Pypi как и тысячи других сервисов в мире используют CDN, в данном случае сервис Fastly. Вот его Роскомнадзор уже несколько раз блокировал в предыдущих блокировках других ресурсов. Сейчас, я подозреваю, в очередной раз блокировали что-то еще использующее Fastly и затронули Pypi "случайно". Что РКН не оправдывает и не оправдывало никогда.

Проблема в том что таких инцидентов будет больше. Из-за наплыва ИИ агентов все больше онлайн ресурсов используют CDN'ы, просто из-за роста трафика, из-за задач блокировки ИИ агентов и краулеров, из-за роста нагрузки на инфраструктуру.

#thoughts #comments #russia
👍16🕊7💯3
Подборка ссылок про данные, технологии и не только:
- Redistricting Data Hub портал открытых данных о перераспределении округов, включает много данных по разным штатам США. В чистом виде общественно-политический проект множества партнерских избирательных организаций. Интересен технологичностью и четким фокусом
- OpenData набор проектов построения объектных и векторных хранилищ. Назвались очень странно OpenData, все таки, про другое. Делают что-то интересное, но непонятное потому что с названием не коррелирует.
- Headroom комплексный инструмент сжатия контекста для кодирующих ИИ агентов, помогает оптимизировать токены и скорость разработки. Обещают сжатие использования токенов в 60-95%
- AI Engineering from Scratch вводный курс для ИИ инженеров, 503 урока в 20 фазах. С открытым кодом

#opendata #opensource #ai #tools
7👍1
В рубрике закрытых открытых данных в России Минтранс РФ уже полгода как не публикует статистический бюллетень "Транспорт России". Последний бюллетень размещался у них на сайте 11 декабря 2025 года и за 9 месяцев 2025 года, а до этого 8 сентября, а до этого 9 июня, а до этого 14 марта.

То есть бюллетень публиковался примерно через 2.5 месяца после прошлого отчетного периода и в 2026 году до 15 марта должен был быть опубликован бюллетень за 2025 год, а до середины июня (в течении 10 дней от сегодня) ожидался бы бюллетень за первый квартал 2026 года.

Но бюллетеня за 2025 год нет, почему непонятно, анонсов на сайте Минтранса РФ я лично тоже не видел.

Записываем этот случай в очередной пример закрытия официальной статистики в РФ.

#opendata #closeddata #russia
6😢61❤‍🔥1
Полезные ссылки про данные, технологии и не только:
- coreutils Microsoft выпустили набор unix подобных инструментов для Windows. Хочется сказать не поздно ли? Ибо альтернативы были, тут главное достоинство в том что это родные утилиты от производителя, но со своими ограничениями. Полезно для всех кто использует W10/W11 и любит командную строку
- Pluto система тетрадок на базе языка Julia. Примеры на сайте не открываются, сложно посмотреть пока в действии, но само по себе интересно, хотя и врядли серьезно потеснит Python
- ingestr новая версия утилиты быстрой загрузки данных в огромное число источников из большого числа источников. Пишут что в версии 1 существенное ускорение по сравнению с другими инструментами и версией 0. Надо пробовать.

#opensource #data #tools
👍511
Свежий ИИ инструмент от Google под названием Google AI Edge Eloquent позволяет расшифровывать речь в текст и сразу этот текст улучшать. Из особенностей, он работает в режиме local-first, вся расшифровка происходит на устройстве пользователя с помощью одной из двух локально установленных LLM, это Gemma 4 2b или Gemma 4 12b. Вторая существенно требовательнее к объёмам хранения и оперативной памяти, но дает существенно лучший результат в моих тестах версии для MacOS. Что необычно - это что продукт выпускается вначале не для экосистемы Google, а для продуктов Apple, и то что он локальный, отвязанный от многочисленных сервисов Google. Впрочем у Google есть похожие продукты вроде близкого по смыслу Google AI Edge Gallery чем-то напоминающим LM Studio для тех кому не нужно сложностей.

В любом случае этот продукт интересный, попробовать его для расшифровки голоса в текст стоит. И он бесплатен, что тоже немаловажно.

#google #ai #voice #voicetotext
❤‍🔥10👍43
Интересный доклад Corporate Transparency от US GAO посвященной прозрачности сведений о конечных владельцах компаний в США. На странице краткое изложение и там же ссылка на подробный текст, полезный всем кто изучает то как устроена прозрачность бизнеса в мире. Если вкратце то GAO рекомендуют обязать компании раскрывать сведения о владельцах что сейчас предусмотрено далеко не всегда.

Все кто сталкивался с открытием бизнеса в США знают что концентрация сложностей там возникает не в момент регистрации компании, а при открытии счета в банке где необходимо проходить due diligence. Похожая ситуация с странах ЕС и еще много в каких развитых странах.

А GAO в своем отчете пишут что в этой ситуации компании которые регистрируются, но не открывают счетов выпадают из под мониторинга и сведения о их владельцах недоступны и они могут использоваться для финансовых преступлений.

Я, правда, не настолько хорошо знаю устройство схем работы с такими компаниями у которых нет счетов в банках и которые не должны проходить due diligence, интересно тогда как они ведут деятельность? Но специалисты, уверен, знают лучше.

В любом случае доклад интересный для понимания как устроена прозрачность бизнеса в США, из известных цифр - там зарегистрировано порядка 50 миллионов того что в РФ называют юр лицами. К ним есть разные требования по прозрачности и они неплохо описаны.

#readings #transparency #usa
52🤔2
Европейский пакет по технологическому суверенитету European Technological Sovereignty Package.

Включает 4 инициативы:
- The Chips Act 2.0 - усиление экосистемы полупроводников
- The Cloud and AI Development Act (CADA) - снижение зависимости от иностранных облачных и ИИ провайдеров
- The EU Open Source Strategy - общее снижение зависимостей в технологическом секторе
- A Strategic Roadmap for Digitalisation and AI in Energy - стратегическая дорожная карта для цифровизации и ИИ в энергетике

Почитать будет полезно все эти документы, мне лично были особенно интересны стратегия по открытому коду и CADA. У Евросоюза есть хорошие шансы сделать много что интересного несмотря на огромную бюрократию и множество ограничений. А открытый код еще и повторно использовать можно.

#opensource #eu #regulation #readings
3👍2🤔21
В Великобритании национальный портал открытых данных data.gov.uk переименовали в National Data Library (Национальная библиотека данных) и рассказали о том почему и как они это делают.

Признаюсь я смотрю на это с большим скепсисом, у меня есть ощущение что интенции может быть и хорошие, а реализация так себе.

Ключевой двигатель изменений нац порталов открытых данных в том что в какой-то момент многие из них превратились в помойки. Идея open by default без методической поддержки привела к большому числу бессмысленных маленьких наборов данных не востребованных и не нужных 99% пользователей. Преодолевают эту проблему очень по разному:
- в Евросоюзе - фокусируются на данных особой ценности выводимых в отдельную категорию
- в США - откровенно забивают на портал data.gov, он давно наполняется, но качественно не меняется. Поэтому параллельно создают много разной открытой инфраструктуры для геоданных, научных данных и тд.
- в Индонезии - кратно увеличивают число опубликованных открытых данных публикуя на них чуть ли не каждый файл созданный госорганами. Сейчас там больше 580 тысяч файлов на data.go.id

И вот в Великобритании это решили делать через curated datasets, не особо понимая своих реальных и потенциальных пользователей и не обеспечивая технологической основы.

С одной стороны удивительно, а с другой не очень. Как хороший пример, data.gov.uk я пока приводить не могу.

#opendata #uk #thoughts
👍52🤔2
В качестве небольшого оффтопа на фоне только что прошедших выборов в Армении, расскажу о том почему не нужно читать советские газеты по утрам российскую прессу на эту тему и в особенности про проблемы армянской экономики из-за российских ограничений.

Особенность экономики Армении о которой не все знают в том что цифры статистики Армстата отражают её с большими искажениями. Важная особенность Армении в том что её физический экспорт продукции, завязан на экспорт из России и импорт в Россию, но далеко не критически. Можно посмотреть исторические данные за 2024 год чтобы в этом убедиться.

Важнее то что в Армении существенная часть работодателей и формирование ВВП завязано на международный ИТ сектор, компании которые почти не заметны на ИТ рынке внутри, но имеющие глобальное присутствие. У них почти у всех кроме юр лиц в самой Армении, есть фронтирующие юр лица в США или Гонконге или Сингапуре от которых они ведут деятельность, но почти всех их сотрудники находятся в Армении, в Армении их R&D подразделения и так далее. Большое число людей тратящих доходы внутри страны.

Кроме того если хорошенько посмотреть на реальную картину импорта/экспорта Армении по его структуре, то можно обнаружить насколько он изменился с 2021 года. В частности, несколько лет Армения была де-факто транзитным хабом для торговли российским золотом, платиной, алмазами и серебром и даже как-то удивительно что российские власти ограничивали импорт армянской минеральной воды, а экспорт золота из России что-то не
ограничивали;) (на самом деле - не удивительно).

Поэтому повторюсь, не читайте СМИ. Все, на самом деле, не так как в реальности (c).

#thoughts #armenia
652🤝2
В рубрике интересных каталогов открытых данных коллекция датасетов в проекте Mozilla Data Collective. Включает множество датасетов по самым разным темам, но основная тема - это языковое разнообразие и каталог включает множество наборов данных именно по языкам, включая редкие или не самые популярные. Например, датасеты по армянскому языку

Из плюсов:
- датасетов много и они полезны
- большая часть под свободными лицензиями или почти свободными вроде CC-ND/CC-NC
- Mozilla устоявшаяся структура, есть ощущение что каталог не сиюминутен

Из минусов:
- доступ требует регистрации и это не открытые данные, для выгрузки или доступа через API даже при свободных лицензиях надо согласится вручную со всеми условиями (не только лицензиями)
- сам каталог является самостоятельной поделкой, не стандартизированный поэтому многие функции вроде фильтрации сделаны так себе, непродуманно
- то что там называется API - это API на выкачку файлов, а не на доступ к данным через API.

В целом не вижу чем он удобнее чем тот же Hugging Face, в работе с датасетами для ИИ, но помнить о нем немаловажно

#opendata #datasets #datacatalogs
1👍6❤‍🔥2
Data.gov: Implementation and Perspectives on Its Functions на сайте Конгресса США обзор истории портала Data.gov и перспектив его развития. Документ в форме отчета Конгресса, написан очень бюрократизированным языком, читать его непросто, хотя и интересно.

А заодно полезно для понимания проблем с которыми сталкиваются при разработке порталов открытых данных. Data.gov в довольно запущенном состоянии уже давно, как и ряд других национальных порталов открытых данных.

#opendata #usa #data #datacatalogs
3👍3
692 номера, 69 лет и один перерыв на войну. В Цифровом архиве госфинансов и госуправления собраны все выпуски журнала «Плановое хозяйство» — главного печатного органа Госплана СССР

Издание ведёт отсчёт от «Бюллетеней Госплана» (1922–1923), сохранив сквозную нумерацию и в 1924 году обретя постоянное название. На его страницах печатались не только планы и балансы, но и ключевые экономические дискуссии:

• в 1927 году здесь вышли «Критические заметки о плане развития народного хозяйства» Н.Д. Кондратьева, где были обозначены системные изъяны планирования;

• в 1928–1929 годах разворачивались споры о том, сохранятся ли цены при «законченном социализме»;

• в 1930-м вышел специальный номер о «вредительстве», открывавшийся статьёй Г.М. Кржижановского с примечательной фразой о теплотехнике К.В. Кирше: тот «заблаговременно умер до своей вероятной измены».

В послевоенный период журнал оставался главной профессиональной трибуной: в 1973 году он стал первым отраслевым изданием, удостоенным Ордена Трудового Красного Знамени (тираж достигал 52 тыс. экз.), а в 1973-м и 1988–1989 годах на его страницах обсуждались методы оптимального планирования и противозатратное хозяйствование.

В подборку вошли 692 номера в формате PDF — от «Бюллетеней Госплана» до последнего выпуска 1991 года, когда издание было переименовано в «Экономист». Ознакомиться и скачать можно на сайте Цифрового архива.

#ЦАГГ #история #госуправление #экономика #подборка
🔥1694
Полезные ссылки про данные, технологии и не только:
- The Tableau Exodus Has Begun короткий текст с анализом того почему Tableau уже не самый интересный инструмент для аналитики и то какие есть альтернативы. Текст в жанре BI is dead, long live AI-analytics. Тема слегка спекулятивна, но актуальна
- Cate попытка переосмыслить пользовательский интерфейс разработчика в виде IDE и множества окон ИИ агентов. Не чувствую уверенности что идеальное решение, но любопытное уж точно
- Android developer verification timeline просто для напоминания для тех кто забыл. С сентября 2026 года Google вводит обязательную верификацию всех приложений на платформе Android на всех устройствах сертифицированных Google. Это не значит что приложения из непроверенных источников совсем нельзя будет поставить, но процесс сильно усложнится. Как бы некоторые приложения в некоторых странах не превратились бы в тыкву

#opensource #ai #android #bi
😱4🤔1
Разные мысли вслух про ИИ и не только:
- мысль которую я уже формулировал, но можно и повторить. Разработка с помощью ИИ агентов для зрелого разработчика большой плюс, для юниора большой минус. И готовность применять кратно различается. В общем если Вы начинающей разработчик/инженер/аналитик то вайб-кодинг в резюме совсем не плюс, а может быть и минус
- судя по ограничениям которые Anthropic наложили на модель Fable, публичный вариант Mythos, мир движется к тому что будут модели без ограничений за очень большие деньги и для особых клиентов, и модели с ограничениями для широкой аудитории. Интересно только как скоро появится открытая модель сравнимая с Mythos/Fable?
- продолжая мысль про открытые модели, это же во многом про демократизацию доступа технологиям двойного назначения. Условно возможно ли кибервойны будущего между несколькими крупными корпоративными или национальными автономными ИИ продуктами? Не то чтобы я хотел это видеть своими глазами, как писатель фантаст интересуюсь;)
- большое число ИИ продуктов локально приводит к большому числу ключей доступа к ИИ моделям и сервисам прописанных в переменных окружения. Чем дальше, тем это всё менее безопасно поскольку доступ к ним имеют вообще все приложения запущенные от текущего пользователя. С одной стороны ключи SSH тоже доступны также любому приложению, а с другой, неужели меня одного это волнует?

#thoughts #aiagents
👍115🤔5😱1
Полезные ссылки про данные, технологии и не только:
- dagster price increase 10x insane , don't ever use them тред на Reddit о том как Dagster подняли в 10 раз цены на их облачный сервис. Для тех кто не знает - Dagster это такой ETL/ELT продукт с открытым кодом по модели SaaS когда бесплатно открытый код и платно когда используешь в облаке. И вот они подняли цены в 10 раз. Продукт удобный, но с таким отношением я бы и от open source версии отказался. У них код под лицензией Apache 2.0 и хочется надеяться что кто-то его форкнет и начнет развивать альтернативу если они еще и open source код начнут портить.
- We had to build new evals for Fable обзор модели Fable 5 для задач дата аналитики от ребят из команды Hex (облачный сервис аналитических тетрадок). Если коротко то это хорошо, но недешево. Полезный обзор

#readings #ai #datatools
👍4
OpenSharing свежий стандарт/протокол/спецификация по обмену данными и другими цифровыми артефактами для работы ИИ агентов включая таблицы, коллекции файлов, схемы, глоссарии и так далее. Был передан компанией Databricks в Linux Foundation и основан на уже активно используемом протоколе Delta Sharing к которому уже есть действующая экосистема и множество продуктов его поддерживают.

Передача его в Linux Foundation - это хорошо, это позволяет расширить экосистему. Хочется надеяться что появятся еще и open source реализации серверной части delta sharing, чтобы не зависеть от облака Databricks.

#opensource #standards #ai #tools #datatools
7👍6🔥6👏1
Anthropic внезапно и по требованию властей США отключили Fable 5 для всех клиентов. Причем требование было про угрозу национальной безопасности без уточнения причин, но можно предполагать что причины в том что кто-то из пользователей таки смог преодолеть защиту от применения в целях кибербезопасности и других потенциально опасных тем/задач.

Всё это поднимает сразу два ключевых вопроса:
1. Неизбежность обязательного сильного государственного вмешательства в разработку и доступность наиболее передовых LLM и ИИ сервисов
2. Невозможность страновых ограничений для доступа. Власти США запретили предоставлять доступ всем негражданам США и Anthropic вынуждены были отключить вообще для всех, потому что гарантировать недоступность для всех несоответствующих этому критерию сложно.

Событие это важное, если не переломное. А что будет когда модель сравнимую с Fable/Mythos выпустят китайцы, ее власти США тоже запретят? И как, простите, они это сделают?

#ai #thoughts
12👍8🤨4