Ivan Begtin
9.11K subscribers
2.78K photos
5 videos
116 files
5.66K links
I write about Open Data, Data Engineering, Government, Privacy, Digital Preservation and etc.

CTO&Founder of Dateno https://dateno.io

Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Email ivan@begtin.tech

Ads/promotion agent: @k0shk
Download Telegram
Для тех кто интересуется моими регулярными постами про семантические типы данных, я выложил в открытый доступ расширенный набор правил metacrafter-rules [1] для утилиты metacrafter [2].

В расширенном наборе правил присутствуют:
- правила для идентификации интернет кодов, частых идентификаторов и дат
- множество правил для данных специфичных для России/русского языка по идентификации геолокаций, адресов, справочных кодов, разного рода госидентификаторов и так далее.

Всего правил, включая эти, расширенные, 245 из которых 143 идентифицируют по наименованию поля, а 105 по значениям в этом поле/колонке. Ещё 312 правил есть для идентификации дат во всех популярных видах и языках их написания.

Напомню что metacrafter из коробки поддерживает NoSQL и с его помощью можно идентифицировать семантические типы данных в MongoDB, а также файлах JSON, XML, JSONL, BSON. При этом табличные файлы и SQL базы данных также поддерживаются.

Ссылки:
[1] https://github.com/apicrafter/metacrafter-rules
[2] https://github.com/apicrafter/metacrafter

#opensource #datatools #data #semanticdatatypes #understandingdata
🔥7👍5
В рубрике интересных наборов данных WikiTables [1] набор данных из 1.6 миллионов таблиц извлечённых из английской Википедии и сопровождающий его набор состоящих из записей в этих таблицах слинкованными с объектами в DBPedia. Помимо того что это само по себе интересная и важная задача при создании связанного графа знаний, это ещё и огромная база для обучения разного рода алгоритмом.

Данные связаны со статьёй TabEL: Entity Linking in WebTables [2] ещё 2015 года и ещё много где использовались и используются они и по сей день.

Лично я эти данные использую для проверки и обучения утилиты metacrafter для идентификации семантических типов данных, но им не ограничиваясь.

Ссылки:
[1] http://websail-fe.cs.northwestern.edu/TabEL/index.html
[2] https://www.semanticscholar.org/paper/TabEL%3A-Entity-Linking-in-Web-Tables-Bhagavatula-Noraset/8ffcad9346c4978a211566fde6807d6fb4bfa5ed?p2df

#readings #data #datasets #research #understandingdata #datadiscovery
👍10
Семантические типы данных - это смысловое и терминологическое описание содержимого колонки таблицы или привязанной к ключу записи в дата файле. Например, называется колонка country и можно предполагать что там название страны на одном из языков. Перечислены в колонке значения 2026-01-01, 2026-01-02 и тд., можно определить что это даты и так далее.

Я много лет возился семантическими типами данных и даже писал об этом Semantic data types. Systematic approach and types registry. Потом это стало чуть менее приоритетным в работе, но осталось в моих интересах.

И вот на выходных я заодно обновил реестр семантических типов данных registry.apicrafter.io который существенно расширился до 1836 семантических типов большая часть которых про географические идентификаторы и про персональные данные.

А заодно обновил инструмент metacrafter и правила к нему metacrafter-rules который умеет идентифицировать хоть и не все, но очень многие из этих семантических типов и делает это очень быстро.

В этой итерации у инструмента уже есть измерения precision и recall на тестовой выборке в 243 файла и показатели куда сильнее приблизились к промышленному применению.

Можно обратить внимание что существенная часть семантических типов 151 и 1836 и существеная часть правил заточены под российские данные. В первую очередь по той причине что у меня на руках были архивные слепки российских порталов открытых данных и обнаружение многих семантических типов данных проводилось на их основе.

Ну и конечно не могу не отметить что сам инструмент metacrafter стал значительно точнее, а реестр семантических типов полностью обновлен для поддержки ИИ агентов и семантические типы можно идентифицифровать своими силами используя любимые LLM инструменты в привязке к значениям в реестре.

#opensource #opendata #datatools #semanticdatatypes #understandingdata
👍8✍4
К рассуждениям про семантические типы данных как способ описания структуры данных, я знаю лишь одну область в которой это решалось и решается систематизированно, это биоинформатика и конкретный пример это реестр idenifiers.org c 867 понятиями из областей биологии, генетики, биоинформатики, медицины и других областей life science по которым зарегистрированы как раз то что можно назвать семантическими типами включая названия, описания, шаблоны проверки, примеры и так далее.

Для сравнения большая часть других предметных областей, как правило, оперируют гораздо меньшими пространствами справочных идентификаторов, в особенности систематизированных. А если обратить внимание на типы данных наиболее общепринятых и часто встречаемых, то там все попытки ограничиваются Schema.org и SEMIC.

В мире онтологий семантические типы данных это, с одной стороны естественный способ аннотирования данных, а с другой стороны предполагается что данные изначально имеют разметку в RDF и других нотациях принятых в Semantic Web. В корпоративном мире онтологии применяются, либо при достижения ощутимо значимого уровня сложности данных, либо на стыковке с теми данными которые изначально имеют онтологическую привязку. Это как раз естественно в областях вроде биоинформатики, и совсем совсем неестественно в областях вроде корпоративных данных где аннотирование PII (персональных данных) более значимо чем "идеальность" моделирования данных.

#thoughts #understandingdata
👍8❤6