Ivan Begtin
9.1K subscribers
2.72K photos
5 videos
116 files
5.6K links
I write about Open Data, Data Engineering, Government, Privacy, Digital Preservation and etc.

CTO&Founder of Dateno https://dateno.io

Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Email ivan@begtin.tech

Ads/promotion agent: @k0shk
Download Telegram
В рубрике [частично] доступных российских геоданных

Восемь российских геопорталов, на которые стоит обратить внимание:
• Геопортал РГО открывает доступ к историческим картам, атласам и планам из собрания Русского географического общества — более 48 тысяч уникальных материалов.
• Геопортал Мордовии объединяет тематические карты населённых пунктов, районов, охраняемых территорий, оползней, религиозных объектов и туристической инфраструктуры.
• Геопортал «Кадастрсъёмки» содержит ортофотопланы, топографические и кадастровые материалы, данные инженерных изысканий и мониторинга дорог по регионам Восточной Сибири.
• Интерактивные карты Сургута — муниципальная галерея карт городской инфраструктуры, избирательных округов и различных городских служб.
• Муниципальная ГИС Красноярска позволяет изучать генплан, территориальное зонирование, земельные торги, дороги, парки, водные объекты и кадастровую информацию.
• Инфокарта Екатеринбурга — общественный проект с данными о возрасте, высоте и состоянии зданий, объектах культурного наследия, ДТП и туристических маршрутах.
• Веб-ГИС Дагестанского заповедника публикует границы охраняемых территорий, фотопланы и материалы мониторинга природных пожаров.
• Веб-ГИС заказника «Степной» посвящена охраняемой территории в Астраханской области: здесь доступны веб-карты, снимки и данные пожарного мониторинга.

#opendata #geodata #datasets #russia
👍4🔥4✍2
В качестве напоминания сайт Национального цифрового архива РФ ruarxive.org одновременно является базой знаний о том как архивировать сайты, социальные сети и другие digital born объекты и там же есть инструкции и гайды о том как с этими архивами работать.

Обратная связь всячески приветствуется и если Вы видите что там чего-то нехватает, напишите, это там появится.

#digitalpreservation #webarchives
🔥5✍4❤1❤‍🔥1
Геопорталы Казахстана: где искать карты и пространственные данные

В Казахстане действует целая экосистема геоинформационных ресурсов — от национальной инфраструктуры пространственных данных до кадастровых, отраслевых и региональных карт.

В реестре Dateno на 8 сентября 2026 года, в стране учтено 63 геопортала и геосервиса, 61 из них отмечен как действующий.

Главные ресурсы:
- Государственный геопортал НИПД — основная точка доступа к государственным пространственным данным. Здесь опубликованы картографическая основа страны, ортофотопланы, административные границы, транспортная инфраструктура и метаданные ведомственных геосервисов. Можно совмещать разные слои и создавать собственные карты. Подробнее о проекте.

- Публичная кадастровая карта — сведения о земельных участках, кадастровых границах, зонах ограничений и объектах недвижимости. Особенно полезна собственникам, застройщикам и специалистам по землепользованию.

- Единая платформа недропользования Minerals — интерактивная карта участков недр, лицензий, геологической изученности и территорий, доступных для недропользования.

- Геопортал Госградкадастра — градостроительная и территориальная информация.

- SmartForest — специализированная веб-ГИС с данными лесного хозяйства.

Есть и региональные платформы:
- Алматы
- Астана
- Шымкент
- Карагандинская область
- Восточно-Казахстанская область
- Мангистауская область
- Туркестанская область
- Костанайская область

Региональные геопорталы обычно содержат генеральные планы, земельные участки, инженерные сети, социальные объекты, инвестиционные площадки и другую информацию о развитии территорий.

При этом доступность данных неоднородна: часть систем представляет собой полноценные каталоги, часть — только интерактивные карты или технические сервисы ArcGIS, GeoServer и WMS. Возможности скачивания и повторного использования данных также различаются.

Тем не менее Казахстан уже располагает заметной сетью государственных и отраслевых георесурсов. Следующий важный шаг — единые правила публикации, открытые API, машиночитаемые метаданные и стабильный доступ к наборам данных.

#data #geodata #kazakhstan #datacatalogs
👍5✍2💊1
В рубрике как это устроено у них AEIR Data Catalog каталог данных Азиатского центра региональной интеграции. По каждому из их ежегодных докладов Asian Economic Integration Reports публикуют CSV файлы всех таблиц которые в докладе приводятся, обычно это несколько десятков таблиц статистических показателей по странам регионов.

Плюс:
- демонстрация того как можно публиковать ежегодные доклады прилагая все ассоциированные с ними данные

Минусы:
- нет четких условий использования
- нет схем данных
- не используется стандартизированное ПО для публикации данных

Несмотря на минусы, работать с такими данными удобнее чем извлекать такие данные из таблиц и графиков внутри PDF документов.

Хотелось бы чтобы больше отчетов и докладов публиковались таким или похожем образом.

#opendata #datasets #datacatalogs #economics #asia
👍2✍1🔥1
Какие геопорталы/порталы с геоданными на базе NextGIS Web доступны онлайн

🌐 Межгосударственные организации
🇺🇳 UNESCO / IOC IODE — UN Ocean Decade Digital Atlas
 Геопортал программы обмена океанографическими данными Межправительственной океанографической комиссии ЮНЕСКО. В корне — группа и WMS «Цифровой атлас Десятилетия наук об океане ООН».
 https://atlas.iode.org
────────

🇦🇲 Армения
 Ecosystem Accounting of Armenia — учёт экосистем: земельный покров, экосистемные услуги InVEST, SWAT для Дилижанского нацпарка и слои Global Ecosystems Atlas.
 https://bccarmenia.nextgis.com

🇧🇾 Беларусь
 Полесский радиационно-экологический заповедник — зоны Cs / Sr / Am, бывшие поселения, гидрография и зонирование белорусской части чернобыльской зоны. Редкая открытая ГИС радиационного заповедника.
 https://zapovednik.nextgis.com

🇩🇴 Доминикана
 Visor IDERD — геовизор национальной инфраструктуры пространственных данных (IDERD), рядом с GeoNode-порталом страны.
 https://visor.iderd.gob.do

🇮🇹 Италия
 San Miniato Web GIS (Тоскана) — муниципальный NextGIS; такой же стек у соседней Santa Luce. Типичный европейский «коммунальный» геопортал на этой платформе.
 https://ng.san.miniato.geo-hub.it

🇰🇿 Казахстан
 SmartForest Web GIS — лес, съёмка и коллекторские слои.
 https://gis.smartforest.kz

🇲🇬 Мадагаскар
 Forest Degradation in Madagascar (Manondroala) — деградация леса, древесный покров и полевые точки.
 https://madagascar.nextgis.com

🇵🇭 Филиппины
 Naga City GIS — городская ГИС по ведомствам: планирование (CPDO), ЧС (CDRRMO), инженерия, оценка. Один из самых «настоящих» муниципальных NextGIS за пределами СНГ.
 https://gis.naga.gov.ph

🇷🇺 Россия — здесь платформа выросла, поэтому не один портал, а срез по жанрам:
• Федеральный портал пространственных данных (Росреестр) — кадастр и базовая пространственная основа
 https://ngw.fppd.cgkipd.ru/resource/0
• ГИС Русского географического общества — экспедиции, гранты, тематические слои РГО
 https://maprgo.ru
• Национальная гидрологическая моделирующая система (ИВП РАН) — Кавказ, Селенга–Байкал, Ямал, Иваньково, Плещеево
 https://ngms.iwp.ru
• Историческая ГИС ИВИ РАН — чертежи Русского государства, топонимы, Европа и соседние регионы
 https://histgeo.nextgis.com
• Runivers: границы — исторические границы России, Европы, Ближнего Востока и Средней Азии
 https://gis.runivers.ru
• Мониторинг загрязнения побережья Чёрного моря — волонтёрская оперативная и сводная карта SEA FRIENDS, логистика уборок, WMS
 https://blacksea-monitoring.nextgis.com
• «Лесной эталон» — добровольная лесная сертификация, малонарушенные леса (IFL) и территории коренных народов
 https://fscrus.nextgis.com
• ГИС ООПТ Архангельской области — границы ООПТ, Красная книга, родники, свалки на охраняемых территориях
 https://eco29.nextgis.com
• Геопортал Югра (центр Шпильмана) — лицензии на недра, геология и ресурсы ХМАО
 http://gis.crru.ru:8080

Заповедная линейка на том же стеке: Кижский заказник, Дагестанский заповедник, заказник «Степной» (сайгак).
 https://vodlozero.nextgis.com
 https://dagzapoved.nextgis.com
 https://saigak.nextgis.com

────────
Если копать дальше: инвестиционная карта Татарстана, ГИС Якутии СВФУ (климат и ТТП КМНС), торфяные пожары, InSAR-деформации Большого Сочи, города Сибири на рубеже XIX–XX вв.

Источник: dataportals-registry, software.id: nextgisweb.

#NextGIS #geoportal #opendata #datacatalogs
❤8👍8✍4👏1🎉1
Для тех кто работает с данными по странам и международным блокам и организациям, новая версия 2.1.0 базы internacia-db.

В этой версии:
- добавлено 235 международных блоков, групп стран и организаций. Преимущественно были добавлены торговые соглашения FTA/PTA, географические группы и международные организации в домене .int
- обновлена документация инструкциями по обновлению перечня международных блоков
- много обновлений и исправлений карточках отдельных записей

Подробнее в CHANGELOG

В целом я пока не понимаю что качественно можно добавить в карточки стран, а карточки международных блоков можно сказать что уже готовы, все основное там есть. Добавлять дальше сведения о двухсторонних международных блоков - это превращаться в базу FTA и межстрановых соглашений, что точно не является целеполаганием.

Я напомню что internacia-db это открытая база данных и наборы данных с референсной информацией по странам и всем видам объединения стран - по соглашениям, географическому положению, акронимам, международным организациям и так далее. Используется она для многих задач, например, в Dateno для разметки наборов данных.

#opendata #datasets #data
❤4👍2✍1💯1
Накопившиеся размышления вслух по поводу доступности данных:
1. Одно из отличий экономически развитых стран в наличии региональных статистических порталов с данными, статистических обсерваторий, панелей для наблюдения и тд. Иначе говоря живой машиночитаемой региональной и муниципальной статистики. Причины логичны, в потребности региональных властей знать объективную картину экономики, демографии и тд. Это сильно контрастирует, например, с российскими регионами где есть сайты терр управлений Росстата PDF отчетами, иногда в сканах. А, в лучшем случае, некоторые показатели есть на сайтах открытых бюджетов. Для сравнения во всех землях Германии и кантонах Франции есть не только сайты/онлайн ресурсы региональных стат служб, но и, либо статистические интерактивные порталы, либо публичные BI системы, либо иные стат порталы визуализации и публикации региональной статистики.

2. Поиск Google не говоря уже о других общего типа поисковиках не дает полной картины где какие данные находятся даже на уровне просто где лежат. Многие порталы данных находятся только разными другими способами data discovery, с помощью сервисов вроде Censys (очень дорогой, хорошо документированный) или FOFA (китайский, дешевый и попроще) которые позволяют находить веб сайты по совокупности признаков. При наполнения реестра каталогов Dateno я это наблюдаю постоянно.

#thoughts #data #statistics
👍4✍1🎉1
🇺🇿Геопорталы Республики Узбекистан

Кадастр и национальная ГИС

Публичный геопортал Агентства кадастра
 https://open.ngis.uz
 Национальная витрина госреестра прав на недвижимость. Можно узнать кадастровый номер участка, адрес и вид использования, получить список объектов и выписку. Часть сервисов — через OneID (id.egov.uz); расширенные сведения для частных пользователей могут быть платными. С внешней сети портал часто не открывается.

ArcGIS Server Национальной ГИС (NGIS)
 https://db.ngis.uz/db/rest/services
 Машинный контур того же кадастра: REST-слои, которыми питается open.ngis.uz. Отдельная запись в реестре, потому что это не веб-карта, а каталог сервисов. Хост с внешних сетей таймаутится.

Сельское хозяйство
 ArcGIS Server Министерства сельского хозяйства
 https://gis.agro.uz/server/rest/services
 Самый «живой» открытый GIS API страны (ArcGIS Server 10.9). В дереве сервисов — размещение основных и повторных культур 2023–2026, контуры полей, дехканские хозяйства, виноградники и лесные земли, геоботаника, гумус / фосфор / калий / засоление почв, реки, каналы, коллекторы и водохранилища, водоохранные зоны, NDVI/NDMI, слои Uzbekcosmos и данные Кадастрового агентства. Есть и веб-геопортал: https://gis.agro.uz
Градостроительство

 ГИС Государственного градостроительного кадастра (DSHK)
 https://dshk.uz
 Геопортал «УзГАШКЛИТИ»: градостроительные слои, кадастровые карты, границы и застройка. Публичные слои без логина, полный доступ — по учёткам администратора. Автоматическим клиентам сайт отвечает 403.
────────

Научный репозиторий
 Uzbekistan IPT (GBIF)
 https://cloud.gbif.org/uz
 Узел Института ботаники АН РУз. Сейчас 88 наборов (~52 тыс. записей): 85 occurrence и 3 чеклиста. Флора Ферганы, Нуратау, Западного Тянь-Шаня, гербарии вузов, гидробионты Зеравшана и Сырдарьи, эндемики Allium, Iris, Gagea. Есть DCAT и RSS.
────────

Каталоги индикаторов
Это уже не геослои, а ряды и публикации Нацстаткомитета и ЦБ.

SIAT — https://siat.stat.uz
 Интегрированный статистический портал: SDMX, Excel/CSV/JSON/XML и REST. В API — 3 000+ рядов по экономике, населению, АПК и окружающей среде.
stat.uz — https://stat.uz

Официальный сайт комитета: публикации и отраслевые отчёты. Машиночитаемые ряды — в SIAT.
ЦУР — https://nsdg.stat.uz
 190 национальных индикаторов Целей устойчивого развития, выгрузки XLSX/CSV/JSON.

Гендерная статистика — https://gender.stat.uz
 180+ показателей с разбивкой по полу: демография, образование, здоровье, труд, соцзащита.
Центральный банк — https://cbu.uz/en/statistics/
 Денежно-кредитная, банковская и макроэкономическая статистика.
NSDP / МВФ — http://nsdp.stat.uz/
 Страница e-GDDS: сводные макроиндикаторы и SDMX для Dissemination Standards Bulletin Board.
────────

Коротко
• Открытый машинный доступ к геоданным реально есть у Минсельхоза.
 • Кадастр и DSHK — витрины с идентификацией, не bulk-каталоги.
 • Рядом с гео — сильный статистический контур (SIAT, ЦУР, гендер) и узкий, но живой GBIF-узел.

Региональный бонус, не национальный: Central Asia and Caucasus GeoPortal (Esri ArcGIS Hub) — учебные и обзорные слои по Центральной Азии, включая Узбекистан.

#uzbekistan #geodata #datacatalogs
👍2🔥2❤1✍1🎉1
В рубрике как это устроено у них европейский проект European Language Grid (ELG) включающий каталог языковых ресурсов по языкам Евросоюза и по языковым ресурсам собранным в странах Евросоюза, включая русский, турецкий, казахский, украинский, белорусский и др. В общей сложности это более 8 тысяч ресурсов где, например, по русскому языку их около 700. Каталог включает как данные для выгрузки, так и ссылки на внешние ресурсы, так что это что-то гибридное между каталогом данных и поисковиком по метаданным.

С одной стороны это интересный ресурс с материалами компьютерной лингвистики, а с другой в Виртуальной языковой обсерватории (VLO) проекта CLARIN языковых ресурсов почти 564 тысячи. Можно, конечно, говорить что что ELG про каталог данных, а VLO это все виды цифровых ресурсов, но и в ELG не только наборы данных, да и каталог данных там без схем, кодебуков, документации так далее. Тем не менее ещё один каталог данных Евросоюза.

#opendata #datacatalogs #europe #linguistics
👍3❤1🔥1
Читаю новости про то как ИИ агенты взломали вики и обменивались там лучшими практиками обмана при выполнении некоторых задач.

У меня возникает много вопросов, ведь ИИ агенты прочитают эту новость и сделают ещё один логичный вывод что надо маскироваться лучше.

Так когда мы дождемся что ИИ агенты начнут использовать блокчейн, иные способы коммуникации через мэш-сети, например, или когда создадут свой "мессенжер для роботов", когда начнут шифровать всю переписку, когда начнут использовать язык коммуникации отличный от человеческих разговорных?

Да и я вот пишу об этом всем и жду когда ИИ агенты считают этот текст и возьмут в работу все эти идеи.

Скоро "не подсказывай им" будет не про известных людей, а про ещё неизвестных нам автономных ИИ агентов😂

#ai #thoughts
😁12👍5💯5❤3🔥2🤔1😱1💅1
В рубрике интересных порталов статистических данных PRIS (Power Reactor Information System) информационная система с базой и показателями по всем ядерным реакторам в мире. Включает как основные их характеристики, так и набор временных рядов по выработке энергии, энергопотерям и так далее. А также профили стран где реакторы расположены.

Визуально сделано неплохо, но для меня это скорее антипример потому что данные можно только экспортировать из их визуализаций, а внутри все сделано на PowerBI с ограничениями на получение данных, API и так далее.

Тем не менее данные временных рядов там актуализированы на 2025 год и много других полезных сведений.

Вот такого подхода когда данные на статистическом портале публикуются через виджеты PowerBI, Qlik или Tableau достаточно много. Чаще в беднейших странах именно из-за бедности ну или вот тут как IAEA которые явно не хотят сами датасеты выкладывать отдельно.

#statistics #nuclear #energy
⚡5🔥1
В рубрике как это устроено у них ITStats отраслевая система статистики Республики Корея. Включает множество показателей по доходам, объёмам рынков, занятости, дефиците кадров, экспорте товаров и услуг и многое другое в привязке именно к ИТ рынку. Существует только на корейском языке (но это легко преодолевается расширениями для перевода для браузеров). Внутри работает на базе статистической платформы KOSIS на которой работает и национальная система показателей Южной Кореи.

#statistics #southkorea #datacatalogs
👍5
Написал в рассылку на Substack текст Про рынки и биржи данных будет полезным для всех кто думает про маркетплейсы данных так или иначе.

Краткий вывод - лучше много раз подумать, потому что бизнес модели, кроме некоторых случаев, вызывают большие сомнения. Совсем подробный и длинный текст будет как-нибудь в другой раз, а пока обзорный для тех кто об этом думает.

#data #datacatalogs
👍3
HaitiDocs один из примеров проектов о которых я ранее рассказывал, в формате one-man-project, когда явно какой-то разработчик одиночка с помощью кодирующего ИИ превратил базы документов, статистики и карт в единый портал с официальными материалами по Гаити. Отображая документы для поиска, данные для визуализации и слои карт непосредственно на картографической основе. Всё это нагляднее чем официальные сайты Гаити, но, конечно же, имеет неофициальный статус.

Таких проектов я наблюдаю уже не один и не два, их реально много, благо делать их стало просто. Большая часть статистики собирается из крупных международных источников вроде WorldBank, ILO, WHO и тд. Документы с официальных сайтов госорганов, а карты из серверов официальных геопорталов.

Такое можно сделать практически по любой стране или субрегиону.

#opendata #statistics #haiti #data
👍7❤2
🔻 Каталоги данных Всемирной организации здравоохранения

У WHO нет одного «главного открытого портала». Это целое семейство каталогов: глобальные индикаторы, микроданные обследований, региональные хабы, карты и реестр клинических исследований. Все перечисленные ниже — открытый доступ.

Глобальная статистика

📊 WHO Data — основной публичный портал индикаторов. Заменил старый интерфейс Global Health Observatory как главную точку входа: здоровье 194 стран-членов, ЦУР, эпидемии, системы здравоохранения. Есть API. https://data.who.int

📈 Global Health Observatory (GHO) — классический репозиторий: больше 1000 индикаторов по смертности, бремени болезней, питанию детей, иммунизации, ВИЧ, туберкулёзу, малярии, НИЗ, экологии и неравенству. https://www.who.int/data/gho/data/indicators

🪦 WHO Mortality Database — смертность по стране, году, полу, возрасту и причине смерти. Источник — национальные системы гражданской регистрации; это отдельный продукт, не дубль GHO. https://platform.who.int/mortality

Микроданные обследований

🏥 WHO Health Information Systems Data Catalog — каталог обследований систем здравоохранения по странам (платформа NADA): домохозяйства, индивиды, метаданные и файлы. apps.who.int/healthinfo/systems/surveydata/index.php/catalog

🚬 WHO NCD Microdata Repository — микроданные по неинфекционным заболеваниям: STEPS, GATS (табак), GSHS и GYTS (школьники) из стран по всему миру. https://extranet.who.int/ncdsmicrodata

🏨 Health Facility Assessment Archive — архив оценок медучреждений: HHFA, SARA и SAM. Метаданные опросов, отчёты, вопросники и сопутствующие материалы (десятки стран). https://data-archive.hhfa.online

Региональные хабы

🇪🇺 European Health Information Gateway — данные Европейского региона WHO: демография, состояние здоровья, факторы риска, ресурсы и расходы здравоохранения. Семейство баз Health for All, профили стран, выгрузка таблиц. https://gateway.euro.who.int/en/datasets/

🌍 Regional Health Data Hub (RDHUB) — «центр медицинской разведки» Африканского региона: 47 стран, индикаторы, датасеты и дашборды по приоритетным болезням, иммунизации, материнскому здоровью, устойчивости к антибиотикам и системам здравоохранения. Портал на CKAN, есть API. https://data.afro.who.int/

🌎 PAHO/EIH Open Data — открытые данные Панамериканской организации здравоохранения (региональный офис WHO для Америк): больше 140 базовых индикаторов здоровья, дашборды и выгрузка CSV. https://opendata.paho.org/en

🦠 PAHO COVID-19 Response Hub — эпидемиологические данные COVID-19 по странам и территориям Америк: случаи, смертность, вакцинация, COVAX, ситуационные отчёты. Карты и таблицы, обновление по мере поступления национальных данных. https://paho-covid19-response-who.hub.arcgis.com/
Карты и исследования

🗺 WHO ArcGIS Server — картографические сервисы общественного здравоохранения: слои и REST API для карт WHO. https://extranet.who.int/map/rest/services

🔬 ICTRP Search Portal — единая точка поиска по клиническим исследованиям: идущие и завершённые испытания из сети регистров WHO, с привязкой к исходным записям. https://trialsearch.who.int/

🧪 Exposome Explorer (IARC) — база МАИР, агентства WHO по изучению рака: биомаркеры воздействия факторов окружающей среды, связанных с риском заболеваний. http://exposome-explorer.iarc.fr/

Если нужен один старт — WHO Data. Если погружение в сырые обследования — три NADA-каталога. Если страна в Европе, Африке или Америках — сразу в региональный хаб.

#opendata #WHO #statistics #datacatalogs
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥6✍3🔥3
Разные мысли вслух:
1. Я раньше не обратил внимание, а оказывается возглавляемая Китаем World Artificial Intelligence Cooperation Organization (WAICO) активно растет и в конце июля туда ещё 8 стран присоединилось и 1 страна стала наблюдателем. Все, конечно, страны 3-го и 2-го мира, например, туда вступила Грузия. Думаю что туда вступят все страны с где сильно влияние Китая. А вот Армения вступит врядли учитывая что на её территории уже строится ЦОД FireBird с чипами Nvidia. Скорее интересно пустят ли и вступит ли Армения в Pax Silica организованный США и противостоящий WAICO де-факто.

2. Госрегулирование "замедления разработки ИИ" мне с самого начала казалось совершенно нереалистичным. Учитывая прогресс китайских компаний то все попытки самоограничений ведущих ИИтехов в США приведут лишь к тому что китайские открытые модели станут лучше и более востребованными. Я вообще не понимаю как сейчас можно остановить прогресс при разработке ИИ кроме как глобальными катастрофами, восстаниями и войнами (тоже катастрофами).

3. Можно измерять новые виды неравенства, по доступности данных и информации для граждан. Все индексы доступности тех или иных данных и сведений можно разделить на те страны где данные не публикуются потому что не собираются (некоторые совсем бедные страны) и те страны где данные собираются, но не публикуются. Во втором случае - это пример неравенства доступа к информации для власти, для элиты и для рядовых граждан. Один из важнейших критериев - это доступность гиперлокальных данных, качество жизни в конкретных локациях. Но это самое сложное в измерении, хотя видно что в развитых странах эти данные есть почти всегда.

4. Хотите очень много научных данных? DandiArchive инициатива по публикации данных по нейрофизиологии. 2.3 Петабайта данных на сегодняшний день. Много это или мало ? Для доступных данных - много, для закрытых архивов не так много, но тоже существенно.

#opendata #ai #thoughts
👍4🔥2🤔2💯1
Полезные ссылки про данные, технологии и не только:
- mnemiq - текст-в-SQL движок с открытым кодом и подробным рассказом почему его сделали, как он устроен и чем отличается от ранее существующих. Если кратко, то создатели сфокусировались на разных SQL диалектах и преодолении ограничения в 30 таблиц у движка Genie от Databricks. Полезно для всех кто работает с большими корпоративными хранилищами данными, сложно устроенными и с большим числом таблиц.
- Pandas Should Go Extinct текст где автор рассуждает о том что давно уже не надо использовать Pandas в разработке и аналитике потому что альтернативы Polars и DuckDB лучше настолько что непонятно почему ими не пользуются.
- Tau ещё один терминальный кодирующий агент, пока не могу сказать чем он лучше других, но он есть и его можно попробовать
- Cline Desktop настольное приложение для запуска моделей с открытыми весами. Обещают много разного полезного и есть версии для Mac и Windows. С открытым кодом
- OpenResearch параллельно работающие исследовательские агенты в локальном окружении. Приложение для Windows и Mac, с открытым кодом. По мне так в описании маловато кейсов описано

#opensource #ai #tools #data
✍3🔥3❤1❤‍🔥1
В рубрике как это устроено у них Rwanda Data Sharing Platform платформа обмена данными Руанды, де-факто портал открытых данных страны. Содержит 265 наборов данных, в первую очередь статистических показателей и микроданных. Имеет весьма продуманный интерфейс с документированными схемами данных, прегенрированным кодом Python, Curl, JS и тд. для выгрузки данных, возможностью их предпросмотра, подробным описанием и так далее.

Из минусов:
- сейчас данные только одного ведомства, статслужбы, видимо оно функциональный заказчик у непосредственного заказчика разработки RISA - агентства информационного общества страны
- портал адаптирован под отображение табличных данных и там сейчас только плоские таблицы.

Видно что его заказывали статистики, он построен полностью вокруг таблиц и, тоже, по модели что один набор данных = один файл = одна таблица. Архитектурно - это ошибка, но если там будет только статистика то это допустимо. И это точно удобнее чем извлекать данных с сайта их статслужбы где, конечно, есть Excel файлы, но API завсегда удобнее когда актуально и обновляется.

Справочно: Руанда быстро развивающаяся восточноафриканская страна с 14 миллионами населения и 16 миллиардами USD ВВП.

#opendata #datacatalogs #rwanda #statistics
👍4✍1🔥1