Новый бенчмарк DataBench LLM для аналитичекской работы с данными от Hex. Вот тут они подробно рассказывают про то как он работает. Ожидаемо хорошие результаты у Fable 5, и самые дорогие, конечно же, по стоимости. Сравнивают, в основном, модели из США от OpenAI и Anthropic. Из китайских там только Kimi 2.7, хотя уже вышла Kimi K3, хотелось бы посмотреть сравнение с ней, и с GLM-5.3

#data #aiagents

Завтра я читаю внутреннюю лекцию про дата продукты, к которой набросал вот такую презентацию. Понятно что презентация просто иллюстрация к речи, но основные смыслы в ней есть. Покидайте в меня критики / замечаний / комментариев по содержанию. Что так и что не так

#questions #data #dataengineering

О том как в Китае работают с данными, текст комиссии Конгресса США. Общий смысл текста в том что у властей Китая есть чему поучиться, а по содержанию там речь про системы обмена/продажи данных в Китае в виде data exchanges и много подробностей, например, то что Минфин Китая рассматривает базы данных (data assets) как объекты учета.

#data #china

В продолжение моих рассуждений про дата-продукты и их отличие от наборов данных. Пример публикации таких дата продуктов в академической среде это портал Портал исследовательских данных Шотландии researchdata.scot. Там всего 133 базы данных и это не данные опубликованные исследователями в рамках научных работ, а базы данных доступные исследователям, преимущественно по запросу.

Там немного другая структура описания этих дата продуктов и оно включает:
Summary - сводная информация
Documentation - документация и описание
Coverage - область покрытия географическая и временная
Provenance - происхождение, источник и тип данных
Access and governance - доступ и управление, как получить доступ к данным, условия, владелец и контакты
Enrichment and linkage - связанные наборы данных, инструменты для работы, как их интегрировать с другими
Synthetic data - синтетические данные
Data dictionary - справочники и словари ассоциированные с этими данными

Тут надо оговориться что это речь про исследовательские дата продукты, а не про коммерческие/корпоративные. Поэтому эта структура и подача даже слегка консервативна, но вполне логична и куда более ложится в логику дата продуктов.

Для сравнения можно посмотреть на дата продукты для финансового сектора в Nasdaq Data Link data.nasdaq.com

Кроме всего прочего там ключевыми характеристиками являются:
- частота обновления данных и частота их доставки
- период задержки

А также множество инструментов доставки и, в виду, особенностей потребления данных акцент на API.

#opendata #data #dataproducts #datacatalogs

Ещё немного рассуждений вслух про то как публикуются данные в мире сейчас:
1. Порталов открытых данных становится больше преимущественно за счет национальных порталов развивающихся стран и муниципальных каталогов данных.
2. В Евросоюзе больше муниципальных порталов именно открытых данных, в США больше порталов геоданных на базе ArcGIS Hub иногда совмещенных с порталами открытых данных.
3. Более всего и чаще всего на порталах данных публикуют официальную статистику, геоданные и данные финансовой отчетности (бюджеты, расходы по проектам, контракты и тд.)
4. Практически все университеты где есть наука имеют свои порталы раскрытия данных или разделы на порталах публикации научных результатов. Иногда таких порталов несколько и аналогичная ситуация со всеми живыми научными центрами. Много таких порталов раскрытия результатов появляется в университетах развивающихся стран
5. Россия уникальная 3-мя факторами. 1) Порталов открытых данных становится не больше, а меньше. 2) Почти все публикуемое государством - это мелкие административные данные. Бесполезные в работе. 3) Публикация научных данных скорее редкость чем активный тренд. Большая часть данных российских ученых публикуется напрямую на международных платформах, а не на ресурсах исследовательских центров и университетов.
6. Многие каталоги данных в мире остаются за геоблокировками: Россия, Китай, Вьетнам как наиболее заметные примеры.
7. Все больше блокировок краулеров, преимущественно через Cloudflare и другие CDN. Это ограничивает к ним доступ и для поиска, и для применения ИИ агентов.
8. Очень много локальных игроков создающих геоинформационные системы, но почти всегда на бэкэнде у них используется ArcGIS Server или Geoserver или один из более древних open-source движков.

#thoughts #data #datacatalogs

В рубрике как это устроено у них портал открытых данных Монголии opendata.gov.mn. Всего 57 организаций, 7890 наборов данных и 21856 файлов на 25 августа 2026 г. Раньше их портал работал на базе движка CKAN, теперь там какой-то собственный движок, так что автоматически быстро не проверить объёмы данных и содержимое по типам и тд. Практически все данные это статистика и административные реестры (перечни предприятий, организаций и тд.). Форматы CSV, JSON, XLSX. Нет общедоступного API и в целом выглядит как каталог данных для начальства, потому что уж очень сильно статистика выпячена на главной, явно чтобы показать масштабы и востребованность.

Я бы на такой каталог данных не стал бы ориентироваться на эталонный, но как пример национального портала открытых данных в Азии он вполне нагляден.

#opendata #data #datasets #datacatalogs #mongolia

Хотите больших, очень больших, очень-очень больших данных? 2 петабайта архив за 2024 год проекта End of Term Web Archive по архивации деятельности правительства США. Делают они его в партнерстве с Internet Archive, которые обеспечивают техническую часть организации архивации. А сами данные хранятся на AWS в рамках спонсорского гранта от Amazon. Просмотреть сохраненные сайты можно на сайте GovArchive.us

#webarchives #data #datasets #USA

Очередное обновление реестра каталогов данных Dateno, теперь достигнута планка в 25 тысяч каталогов данных большая часть которых - это порталы геоданных и геопорталы, далее репозитории научных данных и далее уже порталы открытых данных.

Основные обновления касались добавления огромного числа репозиториев научных данных и порталов научных данных, сложность с ними всегда была в том что часто это институциональные репозитории в которых могут быть, а могут и не быть наборы данных. И вот отсев вторых от первых и требовал много времени. Теперь он завершился и в реестре в общей сложности 6299 каталога научных данных в том числе по неохваченным ранее развивающимся странам.

Тут я напомню что число каталогов данных в разбивке по типу ПО, типу каталога, странам и тд. - это не показатель объёмов набора данных, это показатель системности того как в стране с данными работают. Обычно это коррелирует с числом датасетов, но это не 100% корреляция.

Например, по России есть 291 каталог с данными, почти как в Швеции где их 303. А более всего их в США, Германии и Франции, что тоже логично.

В целом там прямые корреляции с вхождением стран в G7 / ОСЭР / G20. Что тоже логично.

#opendata #datacatalogs #data

Геопорталы Казахстана: где искать карты и пространственные данные

В Казахстане действует целая экосистема геоинформационных ресурсов — от национальной инфраструктуры пространственных данных до кадастровых, отраслевых и региональных карт.

В реестре Dateno на 8 сентября 2026 года, в стране учтено 63 геопортала и геосервиса, 61 из них отмечен как действующий.

Главные ресурсы:
- Государственный геопортал НИПД — основная точка доступа к государственным пространственным данным. Здесь опубликованы картографическая основа страны, ортофотопланы, административные границы, транспортная инфраструктура и метаданные ведомственных геосервисов. Можно совмещать разные слои и создавать собственные карты. Подробнее о проекте.

- Публичная кадастровая карта — сведения о земельных участках, кадастровых границах, зонах ограничений и объектах недвижимости. Особенно полезна собственникам, застройщикам и специалистам по землепользованию.

- Единая платформа недропользования Minerals — интерактивная карта участков недр, лицензий, геологической изученности и территорий, доступных для недропользования.

- Геопортал Госградкадастра — градостроительная и территориальная информация.

- SmartForest — специализированная веб-ГИС с данными лесного хозяйства.

Есть и региональные платформы:
- Алматы
- Астана
- Шымкент
- Карагандинская область
- Восточно-Казахстанская область
- Мангистауская область
- Туркестанская область
- Костанайская область

Региональные геопорталы обычно содержат генеральные планы, земельные участки, инженерные сети, социальные объекты, инвестиционные площадки и другую информацию о развитии территорий.

При этом доступность данных неоднородна: часть систем представляет собой полноценные каталоги, часть — только интерактивные карты или технические сервисы ArcGIS, GeoServer и WMS. Возможности скачивания и повторного использования данных также различаются.

Тем не менее Казахстан уже располагает заметной сетью государственных и отраслевых георесурсов. Следующий важный шаг — единые правила публикации, открытые API, машиночитаемые метаданные и стабильный доступ к наборам данных.

#data #geodata #kazakhstan #datacatalogs

Для тех кто работает с данными по странам и международным блокам и организациям, новая версия 2.1.0 базы internacia-db.

В этой версии:
- добавлено 235 международных блоков, групп стран и организаций. Преимущественно были добавлены торговые соглашения FTA/PTA, географические группы и международные организации в домене .int
- обновлена документация инструкциями по обновлению перечня международных блоков
- много обновлений и исправлений карточках отдельных записей

Подробнее в CHANGELOG

В целом я пока не понимаю что качественно можно добавить в карточки стран, а карточки международных блоков можно сказать что уже готовы, все основное там есть. Добавлять дальше сведения о двухсторонних международных блоков - это превращаться в базу FTA и межстрановых соглашений, что точно не является целеполаганием.

Я напомню что internacia-db это открытая база данных и наборы данных с референсной информацией по странам и всем видам объединения стран - по соглашениям, географическому положению, акронимам, международным организациям и так далее. Используется она для многих задач, например, в Dateno для разметки наборов данных.

#opendata #datasets #data

Накопившиеся размышления вслух по поводу доступности данных:
1. Одно из отличий экономически развитых стран в наличии региональных статистических порталов с данными, статистических обсерваторий, панелей для наблюдения и тд. Иначе говоря живой машиночитаемой региональной и муниципальной статистики. Причины логичны, в потребности региональных властей знать объективную картину экономики, демографии и тд. Это сильно контрастирует, например, с российскими регионами где есть сайты терр управлений Росстата PDF отчетами, иногда в сканах. А, в лучшем случае, некоторые показатели есть на сайтах открытых бюджетов. Для сравнения во всех землях Германии и кантонах Франции есть не только сайты/онлайн ресурсы региональных стат служб, но и, либо статистические интерактивные порталы, либо публичные BI системы, либо иные стат порталы визуализации и публикации региональной статистики.

2. Поиск Google не говоря уже о других общего типа поисковиках не дает полной картины где какие данные находятся даже на уровне просто где лежат. Многие порталы данных находятся только разными другими способами data discovery, с помощью сервисов вроде Censys (очень дорогой, хорошо документированный) или FOFA (китайский, дешевый и попроще) которые позволяют находить веб сайты по совокупности признаков. При наполнения реестра каталогов Dateno я это наблюдаю постоянно.

#thoughts #data #statistics

Написал в рассылку на Substack текст Про рынки и биржи данных будет полезным для всех кто думает про маркетплейсы данных так или иначе.

Краткий вывод - лучше много раз подумать, потому что бизнес модели, кроме некоторых случаев, вызывают большие сомнения. Совсем подробный и длинный текст будет как-нибудь в другой раз, а пока обзорный для тех кто об этом думает.

#data #datacatalogs

Полезные ссылки про данные, технологии и не только:
- mnemiq - текст-в-SQL движок с открытым кодом и подробным рассказом почему его сделали, как он устроен и чем отличается от ранее существующих. Если кратко, то создатели сфокусировались на разных SQL диалектах и преодолении ограничения в 30 таблиц у движка Genie от Databricks. Полезно для всех кто работает с большими корпоративными хранилищами данными, сложно устроенными и с большим числом таблиц.
- Pandas Should Go Extinct текст где автор рассуждает о том что давно уже не надо использовать Pandas в разработке и аналитике потому что альтернативы Polars и DuckDB лучше настолько что непонятно почему ими не пользуются.
- Tau ещё один терминальный кодирующий агент, пока не могу сказать чем он лучше других, но он есть и его можно попробовать
- Cline Desktop настольное приложение для запуска моделей с открытыми весами. Обещают много разного полезного и есть версии для Mac и Windows. С открытым кодом
- OpenResearch параллельно работающие исследовательские агенты в локальном окружении. Приложение для Windows и Mac, с открытым кодом. По мне так в описании маловато кейсов описано

#opensource #ai #tools #data

🇬🇪 Открытые данные Грузии: где искать?

Разбираем экосистему грузинских каталогов данных — от национального портала до городских карт.

Вот главные источники:
📊 Data.gov.ge — национальный портал открытых данных Официальный портал, запущенный в рамках инициативы Open Government Partnership. Ведёт Агентство цифрового управления при Минюсте. Наборы данных госорганов, интерфейсы на грузинском и английском. 🔗 data.gov.ge
📈 GEOSTAT Data Catalog — статистика Грузии Официальная база Национального статистического управления (Geostat) на платформе PxWeb. Демография, экономика, сельское хозяйство, экология — многомерные таблицы с открытым API (PxWeb API). 🔗 https://pc-axis.geostat.ge/PXWeb/pxweb/ka/Database
🗺 NSDI.gov.ge — национальный геопортал Геопортал национальной инфраструктуры пространственных данных от Национального агентства публичного реестра (NAPR). Поиск, просмотр и скачивание геоданных, каталог метаданных. А рядом — интерактивная кадастровая карта maps.gov.ge с участками, адресами и ортофото.
🌲 Forest & Land Use Atlas — atlas.mepa.gov.ge Атлас лесов и землепользования Министерства экологии и сельского хозяйства на ArcGIS Hub.
🔬 OpenScience.ge — научный репозиторий Цифровой репозиторий грузинских научных работ (DSpace-CRIS) Национальной научной библиотеки: статьи, диссертации, научная продукция. Есть API и OAI-PMH.

💰 Тематические порталы:
▫️ opendata.spa.ge — госзакупки в формате Open Contracting Data Standard
▫️ sdg.gov.ge — мониторинг Целей устойчивого развития
▫️ budgetmonitor.ge — бюджетный монитор Счётной палаты

🏘 Городские геопорталы:
▫️ Тбилиси — архитектурная карта мэрии (mgis.tbilisi.gov.ge)
▫️ Батуми — карта аварийных зданий (maps.batumi.gov.ge)
▫️ Кутаиси — геопортал мэрии (map.kutaisi.gov.ge)

📉 Бонус:
Caucasus Barometer (caucasusbarometer.org) — ежегодные данные социологических опросов по Кавказу от CRRC.

#opendata #georgia #datacatalogs #data #datasets

Я тут на днях общался с одним германским исследователем про открытые данные, он много что интересного рассказывал про данные по странам где он проводил свои исследования, я об этом еще расскажу подробнее, о том что данные могут быть доступны, а люди которые ими занимались давно ушли и госполитика уже развернулась не "за" открытые данные, а "против". Нет, это не про Россию, хотя и параллели ощущаются.

А вот из интересного что он рассказывал так то что после недавних случаев с дронами в аэропортах и других инцидентов с безопасностью около электростанций в Германии активно пошли разговоры что может быть не надо быть настолько открытыми и начать скрывать многие данные по инфраструктуре. Не буду загадывать произойдет ли это или нет, но сам факт разговоров он о том что открытые данные - это явление мирных времен. Когда начинаются военные конфликты, ограничения в доступности информации нарастают и тем ценнее становятся альтернативные источники данных и возможность влияния на них.

Я бы предположил что важными изменениями в ближайшие годы будет:
- многие данные, в первую очередь по инфраструктуре будут исчезать по мере расширения военных конфликтов и появления новых
- вероятно появление собственных спутников для съёмки земли у отдельных издательств/крупных медиа-холдингов
- вероятно появление альтернатив стартапов по альтернативным данных в юрисдикциях отличных от США.

#opendata #thoughts #data

Полезные ссылки про данные, технологии и не только:
- Diving Through Data at OpenAI: How a Data Agent Navigates 70,000 Datasets видео с конференции Rows&Columns о том как устроен внутренний ИИ агент к данным более чем 70 тысяч наборов данных и более 600 петабайт обрабатываемых ежесуточно
- Microsoft, Google back Apache Ossie to make enterprise data and AI platforms more interoperable время новых стандартов для обмена данными, впрочем Ossie не то чтобы сильно новый, но похоже что активно внедрямый
- I Quit OpenAI Because Its Culture Is Broken (очередной) чувак ушел из OpenAI и рассказывает о том что AI бигтехам надо больше внимания уделять безопасности. Похоже что рассуждения в этом жанре нас ждут ещё не один раз
- Introducing Web Search API via AI Gateway Cloudflare сделали универсальное API для веб поиска через сервисы Ceramic.ai, Exa, и Linkup. Вообще к Cloudflare стоит присмотреться к их текущим и грядущим продуктам, они явно играют создание универсальной инфрасируктуры для ИИ инструментов и агентов и имеют хорошие шансы занять большие и малые ниши в этой области.

#opensource #ai #data #search

Буквально вчера я вернулся из Астаны после участия в конференции AI&Digital Bridge. Конференция интересная, много новых знакомств и встреч с теми кого давно не видел. В том числе поучаствовал в панели про Телеком данные и их востребованность бизнесом, государством и обществом.

Я там участвовал от Open Data Armenia в ныне не такой уж частой для себя роли представителя общественного интереса.

Что хорошо, данные в Казахстане есть, их немало. Это касается в первую очередь не телеком данных, а геоданных, данных ряда государственных реестров и даже некоторых данных научных учреждений. Очень хорошо что в Казахстане прогресс в доступности данных есть и есть надежда что он будет ещё больше к следующему Digital Bridge.

А вот с данными телекома ключевая сложность в их чувствительности. Телеком операторы, не только в Казахстане, но и во многих странах предоставляют коммерческие аналитические и дата- продукты для потребителей этих данных, но гораздо реже и меньше эти данные доступны для исследователей, в задачах улучшения качества жизни.

Например, в Германии национальная статслужба DEStatis публикует данные Teralytics сопоставляющие официальные данные статистики и данные мобильных операторов.

В Эстонии доступна статистика по туризму на основе данных мобильных операторов.

В Финляндии на основе данных мобильных операторов исследователи собирают аггрегированные данные и пишут научные работы.

Для многих задач эти данные обладают высокой ценностью и в том числе той которую нельзя так просто измерить в денежном эквиваленте.

Я привожу в пример страны ЕС потому что здесь присутствует явная госполитика повышения доступности этих данных. Не обязательно в форме открытых продуктов, очень часто они стоят денег, но сам факт наличия возможности хотя бы узнать их стоимость и аттрибутивный состав уже начало открытости к этим и многим другим чувствительным данным.

Хочется надеяться что и в Казахстане будет явное движение в том чтобы телеком данные были доступны самым разным категориям пользователей.

#opendata #datasets #data #kazakhstan