Новый бенчмарк DataBench LLM для аналитичекской работы с данными от Hex. Вот тут они подробно рассказывают про то как он работает. Ожидаемо хорошие результаты у Fable 5, и самые дорогие, конечно же, по стоимости. Сравнивают, в основном, модели из США от OpenAI и Anthropic. Из китайских там только Kimi 2.7, хотя уже вышла Kimi K3, хотелось бы посмотреть сравнение с ней, и с GLM-5.3

#data #aiagents

Завтра я читаю внутреннюю лекцию про дата продукты, к которой набросал вот такую презентацию. Понятно что презентация просто иллюстрация к речи, но основные смыслы в ней есть. Покидайте в меня критики / замечаний / комментариев по содержанию. Что так и что не так

#questions #data #dataengineering

О том как в Китае работают с данными, текст комиссии Конгресса США. Общий смысл текста в том что у властей Китая есть чему поучиться, а по содержанию там речь про системы обмена/продажи данных в Китае в виде data exchanges и много подробностей, например, то что Минфин Китая рассматривает базы данных (data assets) как объекты учета.

#data #china

В продолжение моих рассуждений про дата-продукты и их отличие от наборов данных. Пример публикации таких дата продуктов в академической среде это портал Портал исследовательских данных Шотландии researchdata.scot. Там всего 133 базы данных и это не данные опубликованные исследователями в рамках научных работ, а базы данных доступные исследователям, преимущественно по запросу.

Там немного другая структура описания этих дата продуктов и оно включает:
Summary - сводная информация
Documentation - документация и описание
Coverage - область покрытия географическая и временная
Provenance - происхождение, источник и тип данных
Access and governance - доступ и управление, как получить доступ к данным, условия, владелец и контакты
Enrichment and linkage - связанные наборы данных, инструменты для работы, как их интегрировать с другими
Synthetic data - синтетические данные
Data dictionary - справочники и словари ассоциированные с этими данными

Тут надо оговориться что это речь про исследовательские дата продукты, а не про коммерческие/корпоративные. Поэтому эта структура и подача даже слегка консервативна, но вполне логична и куда более ложится в логику дата продуктов.

Для сравнения можно посмотреть на дата продукты для финансового сектора в Nasdaq Data Link data.nasdaq.com

Кроме всего прочего там ключевыми характеристиками являются:
- частота обновления данных и частота их доставки
- период задержки

А также множество инструментов доставки и, в виду, особенностей потребления данных акцент на API.

#opendata #data #dataproducts #datacatalogs

Ещё немного рассуждений вслух про то как публикуются данные в мире сейчас:
1. Порталов открытых данных становится больше преимущественно за счет национальных порталов развивающихся стран и муниципальных каталогов данных.
2. В Евросоюзе больше муниципальных порталов именно открытых данных, в США больше порталов геоданных на базе ArcGIS Hub иногда совмещенных с порталами открытых данных.
3. Более всего и чаще всего на порталах данных публикуют официальную статистику, геоданные и данные финансовой отчетности (бюджеты, расходы по проектам, контракты и тд.)
4. Практически все университеты где есть наука имеют свои порталы раскрытия данных или разделы на порталах публикации научных результатов. Иногда таких порталов несколько и аналогичная ситуация со всеми живыми научными центрами. Много таких порталов раскрытия результатов появляется в университетах развивающихся стран
5. Россия уникальная 3-мя факторами. 1) Порталов открытых данных становится не больше, а меньше. 2) Почти все публикуемое государством - это мелкие административные данные. Бесполезные в работе. 3) Публикация научных данных скорее редкость чем активный тренд. Большая часть данных российских ученых публикуется напрямую на международных платформах, а не на ресурсах исследовательских центров и университетов.
6. Многие каталоги данных в мире остаются за геоблокировками: Россия, Китай, Вьетнам как наиболее заметные примеры.
7. Все больше блокировок краулеров, преимущественно через Cloudflare и другие CDN. Это ограничивает к ним доступ и для поиска, и для применения ИИ агентов.
8. Очень много локальных игроков создающих геоинформационные системы, но почти всегда на бэкэнде у них используется ArcGIS Server или Geoserver или один из более древних open-source движков.

#thoughts #data #datacatalogs

В рубрике как это устроено у них портал открытых данных Монголии opendata.gov.mn. Всего 57 организаций, 7890 наборов данных и 21856 файлов на 25 августа 2026 г. Раньше их портал работал на базе движка CKAN, теперь там какой-то собственный движок, так что автоматически быстро не проверить объёмы данных и содержимое по типам и тд. Практически все данные это статистика и административные реестры (перечни предприятий, организаций и тд.). Форматы CSV, JSON, XLSX. Нет общедоступного API и в целом выглядит как каталог данных для начальства, потому что уж очень сильно статистика выпячена на главной, явно чтобы показать масштабы и востребованность.

Я бы на такой каталог данных не стал бы ориентироваться на эталонный, но как пример национального портала открытых данных в Азии он вполне нагляден.

#opendata #data #datasets #datacatalogs #mongolia

Хотите больших, очень больших, очень-очень больших данных? 2 петабайта архив за 2024 год проекта End of Term Web Archive по архивации деятельности правительства США. Делают они его в партнерстве с Internet Archive, которые обеспечивают техническую часть организации архивации. А сами данные хранятся на AWS в рамках спонсорского гранта от Amazon. Просмотреть сохраненные сайты можно на сайте GovArchive.us

#webarchives #data #datasets #USA

Очередное обновление реестра каталогов данных Dateno, теперь достигнута планка в 25 тысяч каталогов данных большая часть которых - это порталы геоданных и геопорталы, далее репозитории научных данных и далее уже порталы открытых данных.

Основные обновления касались добавления огромного числа репозиториев научных данных и порталов научных данных, сложность с ними всегда была в том что часто это институциональные репозитории в которых могут быть, а могут и не быть наборы данных. И вот отсев вторых от первых и требовал много времени. Теперь он завершился и в реестре в общей сложности 6299 каталога научных данных в том числе по неохваченным ранее развивающимся странам.

Тут я напомню что число каталогов данных в разбивке по типу ПО, типу каталога, странам и тд. - это не показатель объёмов набора данных, это показатель системности того как в стране с данными работают. Обычно это коррелирует с числом датасетов, но это не 100% корреляция.

Например, по России есть 291 каталог с данными, почти как в Швеции где их 303. А более всего их в США, Германии и Франции, что тоже логично.

В целом там прямые корреляции с вхождением стран в G7 / ОСЭР / G20. Что тоже логично.

#opendata #datacatalogs #data

Геопорталы Казахстана: где искать карты и пространственные данные

В Казахстане действует целая экосистема геоинформационных ресурсов — от национальной инфраструктуры пространственных данных до кадастровых, отраслевых и региональных карт.

В реестре Dateno на 8 сентября 2026 года, в стране учтено 63 геопортала и геосервиса, 61 из них отмечен как действующий.

Главные ресурсы:
- Государственный геопортал НИПД — основная точка доступа к государственным пространственным данным. Здесь опубликованы картографическая основа страны, ортофотопланы, административные границы, транспортная инфраструктура и метаданные ведомственных геосервисов. Можно совмещать разные слои и создавать собственные карты. Подробнее о проекте.

- Публичная кадастровая карта — сведения о земельных участках, кадастровых границах, зонах ограничений и объектах недвижимости. Особенно полезна собственникам, застройщикам и специалистам по землепользованию.

- Единая платформа недропользования Minerals — интерактивная карта участков недр, лицензий, геологической изученности и территорий, доступных для недропользования.

- Геопортал Госградкадастра — градостроительная и территориальная информация.

- SmartForest — специализированная веб-ГИС с данными лесного хозяйства.

Есть и региональные платформы:
- Алматы
- Астана
- Шымкент
- Карагандинская область
- Восточно-Казахстанская область
- Мангистауская область
- Туркестанская область
- Костанайская область

Региональные геопорталы обычно содержат генеральные планы, земельные участки, инженерные сети, социальные объекты, инвестиционные площадки и другую информацию о развитии территорий.

При этом доступность данных неоднородна: часть систем представляет собой полноценные каталоги, часть — только интерактивные карты или технические сервисы ArcGIS, GeoServer и WMS. Возможности скачивания и повторного использования данных также различаются.

Тем не менее Казахстан уже располагает заметной сетью государственных и отраслевых георесурсов. Следующий важный шаг — единые правила публикации, открытые API, машиночитаемые метаданные и стабильный доступ к наборам данных.

#data #geodata #kazakhstan #datacatalogs