A framework for Al-ready data [1] свежий доклад от Open Data Institute о том как публиковать наборы данных для машинного обучения. Характерно что ссылаются на стандарт Croissant и Hugging Face и не ссылаются на Frictionless Data.
Всё выглядит разумно с примерами из публикации открытых данных и открытой научной инфраструктуры.
Ссылки:
[1] https://theodi.org/insights/reports/a-framework-for-ai-ready-data/
#opendsata #readings #standards
Всё выглядит разумно с примерами из публикации открытых данных и открытой научной инфраструктуры.
Ссылки:
[1] https://theodi.org/insights/reports/a-framework-for-ai-ready-data/
#opendsata #readings #standards
👍4✍1
Вышла 3-я редакция стандарта формата для изображений PNG [1]. Почему это событие? Потому что предыдущая, вторая редакция [2], выходила в 2003 году (22 года назад!)
Что нового:
- признание анимированных PNG (APNG)
- правильная поддержка HDR
- официальная поддержка данных Exif
А также многое другое, но каких то особенных действий предпринимать не нужно поскольку большая часть популярных инструментов и так поддерживали эти расширения PNG и без принятого стандарта.
Ссылки:
[1] https://www.w3.org/TR/png-3/
[2] https://www.w3.org/TR/2003/REC-PNG-20031110/
#standards
Что нового:
- признание анимированных PNG (APNG)
- правильная поддержка HDR
- официальная поддержка данных Exif
А также многое другое, но каких то особенных действий предпринимать не нужно поскольку большая часть популярных инструментов и так поддерживали эти расширения PNG и без принятого стандарта.
Ссылки:
[1] https://www.w3.org/TR/png-3/
[2] https://www.w3.org/TR/2003/REC-PNG-20031110/
#standards
www.w3.org
Portable Network Graphics (PNG) Specification (Third Edition)
This document describes PNG (Portable Network Graphics), an extensible file format for the lossless, portable,
well-compressed storage of static and animated raster images. PNG provides a patent-free replacement for GIF and can also
replace many common…
well-compressed storage of static and animated raster images. PNG provides a patent-free replacement for GIF and can also
replace many common…
✍7🤩4👍2
Знаете ли Вы что... существует спецификация /llms.txt в виде сайта [1] с документацией. Спецификация - это что-то вроде карты сайта (sitemap) совмещенного с подробной документацией, но отформатированное в Markdown и приспособленное для упрощённого поглощения с помощью LLM.
Мне казалось что очень хотеть чтобы LLM съел твой контент - это странное желание, но для кого-то, видимо важное, и десятки сайтов спецификацию поддерживают [2], например, такой файл доступен у Sourcegraph [3] и у Bitcoin.com [4] и у LMStudio [5]
В большинстве случаев это документация к продуктам, иногда весьма и весьма детальная.
В отличие от MCP вокруг это спецификации хайп не наблюдается, но знать о ней стоит всем кто документацию к своим продуктам создаёт.
Ссылки:
[1] https://llmstxt.org/
[2] https://llmstxt.site/
[3] https://sourcegraph.com/docs/llms.txt
[4] https://www.bitcoin.com/llms.txt
[5] https://lmstudio.ai/llms.txt
#opensource #standards #ai
Мне казалось что очень хотеть чтобы LLM съел твой контент - это странное желание, но для кого-то, видимо важное, и десятки сайтов спецификацию поддерживают [2], например, такой файл доступен у Sourcegraph [3] и у Bitcoin.com [4] и у LMStudio [5]
В большинстве случаев это документация к продуктам, иногда весьма и весьма детальная.
В отличие от MCP вокруг это спецификации хайп не наблюдается, но знать о ней стоит всем кто документацию к своим продуктам создаёт.
Ссылки:
[1] https://llmstxt.org/
[2] https://llmstxt.site/
[3] https://sourcegraph.com/docs/llms.txt
[4] https://www.bitcoin.com/llms.txt
[5] https://lmstudio.ai/llms.txt
#opensource #standards #ai
👍7
Полезные ссылки про технологии, данные и не только:
- vectorless - браузерное приложение (privacy-first) для общения с PDF документами без серверной обработки и векторных баз данных. Хорошая штука, как скоро это станет трендом?
- Vibe Analysis - ещё один автор рассуждает о применении ИИ для дата анализа. Слишком оптимистично, как по мне. Но много ссылок на продукты в этой области и, в принципе, небесполезно
- AGENT.md: The Universal Agent Configuration File попытка стандартизации описания ИИ агентов, не очень сложное, непонятно насколько будет поддержано кем-то
- POML: Prompt Orchestration Markup Language а тут попытка стандартизации промпт-инженерии, но от Microsoft. Ориентировано на систематизацию и на данные
- EnrichMCP ещё один инструмент для превращения баз данных в MCP API. Насколько лучше других сказать не берусь.
#ai #opensource #standards
- vectorless - браузерное приложение (privacy-first) для общения с PDF документами без серверной обработки и векторных баз данных. Хорошая штука, как скоро это станет трендом?
- Vibe Analysis - ещё один автор рассуждает о применении ИИ для дата анализа. Слишком оптимистично, как по мне. Но много ссылок на продукты в этой области и, в принципе, небесполезно
- AGENT.md: The Universal Agent Configuration File попытка стандартизации описания ИИ агентов, не очень сложное, непонятно насколько будет поддержано кем-то
- POML: Prompt Orchestration Markup Language а тут попытка стандартизации промпт-инженерии, но от Microsoft. Ориентировано на систематизацию и на данные
- EnrichMCP ещё один инструмент для превращения баз данных в MCP API. Насколько лучше других сказать не берусь.
#ai #opensource #standards
GitHub
GitHub - roe-ai/vectorless
Contribute to roe-ai/vectorless development by creating an account on GitHub.
❤4👍4
Реально простое лицензирование (RSL) свежий стандарт описания того как опубликован контент на веб-ресурсах. Создан в коллаборации Yahoo, Medium, Reddit, Raptive и ряда других медиа и ориентирован на то чтобы явным образом указывать условия доступа к контенту в robots.txt, веб-страницах и так далее причём, согласно анонсу с акцентом на автоматизированное потребление контента ИИ краулерами.
Выглядит весьма проработано и интегрировано с передачей метаданных о лицензиях в:
- Schema.org
- robots.txt
- HTTP заголовках
- RSS лентах
- внутри метаданных изображений и PDF файлах
С возможностью указания:
- запрета на обучение ИИ
- разрешения на обучение ИИ с ограничениями
- отсутствие ограничений на обучение ИИ
- свободных лицензий на код (OSI)
- свободных лицензий на контент (CC)
и так далее
Из особенностей - ничего нет про наборы данных и в техническом комитете нет data людей, но все участвующие про контент. Из наиболее известных людей я там увидел Тима О'Рэлли.
Сам подход интересный декомпозицией ограничений в машинную форму. Об этом многие задумывались и лучше всего ИМХО лицензии структурировались в проектах вроде Creative Commons. Здесь же реестр лицензией с их ключевыми характеристиками авторы создавать не стали, вместо этого ввели возможность указания новых параметров завязанных на ИИ.
Не знаю получит ли более широкое распространение, но проработка стандарта там хорошая, так что инициатива стоит внимания и применения.
#standards #licenses #specifications
Выглядит весьма проработано и интегрировано с передачей метаданных о лицензиях в:
- Schema.org
- robots.txt
- HTTP заголовках
- RSS лентах
- внутри метаданных изображений и PDF файлах
С возможностью указания:
- запрета на обучение ИИ
- разрешения на обучение ИИ с ограничениями
- отсутствие ограничений на обучение ИИ
- свободных лицензий на код (OSI)
- свободных лицензий на контент (CC)
и так далее
Из особенностей - ничего нет про наборы данных и в техническом комитете нет data людей, но все участвующие про контент. Из наиболее известных людей я там увидел Тима О'Рэлли.
Сам подход интересный декомпозицией ограничений в машинную форму. Об этом многие задумывались и лучше всего ИМХО лицензии структурировались в проектах вроде Creative Commons. Здесь же реестр лицензией с их ключевыми характеристиками авторы создавать не стали, вместо этого ввели возможность указания новых параметров завязанных на ИИ.
Не знаю получит ли более широкое распространение, но проработка стандарта там хорошая, так что инициатива стоит внимания и применения.
#standards #licenses #specifications
👍3❤2😍2❤🔥1
Я какое-то время назад писал про практики публикации данных и некоторые базовые стандарты описания наборов данных такие как DCAT, Schema.org и карточки CKAN, но, на самом деле их гораздо больше. Наборы данных описываются всё более разнообразно и имеют немало специфики, в последнее время привязанной к применению для ИИ.
- Croissant расширение спецификации Schema.org с метаданными привязанными к машинному обучению
- DSDL (Data Set Description Language) спецификация от китайской OpenDataLab для описания наборов данных для ML
- MRM3: Machine Readable ML Model Metadata свежая публикация с ещё одним стандартом метаданных для ML
А также:
- Data Package часть стандарта Frictionless Data, ориентирован на распространение данных в табличных форматах
- DDI (Data Documentation Initiative) спецификация для датасетов используемая в социологии, например. для данных опросов
- TEI (Text Encoding Initiative) спецификация из компьютерной лингвистики используемая для описания текстовых данных
- EML (Ecology Metadata Language) спецификация для описания наборов данных в экологии
- Dublin Core базовый стандарт для описания цифровых объектов, используется повсеместно в институциональных репозиториях в том числе для публикации данных
- CSV on Web стандарт для публикации CSV файлов онлайн, давно потерял в популярности, но всё еще используется
- geocore Format спецификация для публикации геоданных
- DataCite Metadata Schema спецификация сервиса DataCite для научных данных в целях научного цитирования и поиска
- FGDC Metadata Standards стандарты геослужбы США для публикации геоданных
- OGC® Catalogue стандарт публикации метаданных в сервисах Catalog Services for the Web (CSW) для геоданных
И это далеко не полный список.
#opendata #specifications #datasets #standards
- Croissant расширение спецификации Schema.org с метаданными привязанными к машинному обучению
- DSDL (Data Set Description Language) спецификация от китайской OpenDataLab для описания наборов данных для ML
- MRM3: Machine Readable ML Model Metadata свежая публикация с ещё одним стандартом метаданных для ML
А также:
- Data Package часть стандарта Frictionless Data, ориентирован на распространение данных в табличных форматах
- DDI (Data Documentation Initiative) спецификация для датасетов используемая в социологии, например. для данных опросов
- TEI (Text Encoding Initiative) спецификация из компьютерной лингвистики используемая для описания текстовых данных
- EML (Ecology Metadata Language) спецификация для описания наборов данных в экологии
- Dublin Core базовый стандарт для описания цифровых объектов, используется повсеместно в институциональных репозиториях в том числе для публикации данных
- CSV on Web стандарт для публикации CSV файлов онлайн, давно потерял в популярности, но всё еще используется
- geocore Format спецификация для публикации геоданных
- DataCite Metadata Schema спецификация сервиса DataCite для научных данных в целях научного цитирования и поиска
- FGDC Metadata Standards стандарты геослужбы США для публикации геоданных
- OGC® Catalogue стандарт публикации метаданных в сервисах Catalog Services for the Web (CSW) для геоданных
И это далеко не полный список.
#opendata #specifications #datasets #standards
Substack
Хорошие и плохие практики публикации данных. Метаданные и форматы файлов
«Буду делать хорошо, и не буду — плохо». (Маяковский)
🔥2❤1🌚1
Новая версия 1.1 стандарта Croissant как хороший пример эволюции стандартизации описания данных. Стандарт создавался для датасетов для ИИ. Важная его часть - это аннотирование семантическими типами, объектами из Wikidata и иными тематическими справочниками. Это более чем важно для автоматизации понимания содержимого датасета и это то что можно реализовывать уже сейчас для описания наборов данных.
Кроме того в версию стандарта добавлена интеграция с онтологиями прав использования DUO и W3C ORDL и применение W3C PROV онтологии происхождения цифрового объекта.
Как ни посмотри, одни плюсы. Этот стандарт однозначно надо использовать для описания данных в открытых каталогах данных и не только.
#opendata #standards #data #datasets
Кроме того в версию стандарта добавлена интеграция с онтологиями прав использования DUO и W3C ORDL и применение W3C PROV онтологии происхождения цифрового объекта.
Как ни посмотри, одни плюсы. Этот стандарт однозначно надо использовать для описания данных в открытых каталогах данных и не только.
#opendata #standards #data #datasets
👍8❤2🤝1
Знаете ли вы что... в Германии существует инициатива Deutchland-Stack как список обязательных и рекомендуемых открытых стандартов и технологий для использования в государственном секторе. Там есть множество стандартов по самым разным категориям: данные, low-code, интеграция, AI, транспортные протоколы и многое другое. Довольно хорошо описанные, оформленные и почти все с открытым кодом (кроме iOS для Apple)
Картинка и сайты основаны на базе Cloud Native Landscape у которого есть открытый код
#opensource #germany #eu #standards
Картинка и сайты основаны на базе Cloud Native Landscape у которого есть открытый код
#opensource #germany #eu #standards
👍11✍8🔥4❤🔥2❤1🤔1
OpenSharing свежий стандарт/протокол/спецификация по обмену данными и другими цифровыми артефактами для работы ИИ агентов включая таблицы, коллекции файлов, схемы, глоссарии и так далее. Был передан компанией Databricks в Linux Foundation и основан на уже активно используемом протоколе Delta Sharing к которому уже есть действующая экосистема и множество продуктов его поддерживают.
Передача его в Linux Foundation - это хорошо, это позволяет расширить экосистему. Хочется надеяться что появятся еще и open source реализации серверной части delta sharing, чтобы не зависеть от облака Databricks.
#opensource #standards #ai #tools #datatools
Передача его в Linux Foundation - это хорошо, это позволяет расширить экосистему. Хочется надеяться что появятся еще и open source реализации серверной части delta sharing, чтобы не зависеть от облака Databricks.
#opensource #standards #ai #tools #datatools
✍7👍6🔥6👏1
Open Knowledge Format свежая спецификация для описания знания для LLM в продолжение идеи LLM-wiki сформулированной Andrej Karpathy. Спецификация уже декларируется как используемая внутри Google Cloud Knowledge Catalog.
Не они первые и не они последние кто реализует эту идею, она прямо таки уже стала одержимостью для многих в ИИ сообществе и неспроста, поскольку переосмысливает некоторые устоявшиеся подходы. Например, то что каталог данных/метаданных теперь может быть каталогом знаний. Вроде как очевидно, но не совсем.
Что мне нравится - открытая и простая спецификация, достаточно крупный/тяжелый бренд ее реализующий.
Что мне не нравится - хочется что-то отчуждаемое от конкретного проприетарного продукта, в данном случае облака Google.
Если будет реализация только в открытом коде и без привязки к облакам - это идеальный вариант. Впрочем, не забываем что реализаций/спецификаций много, так что будет ли эта популярна еще не очевидна.
P.S. Название, конечно, придумано весьма сомнительное учитывая существование Open Knowledge Foundation (OKF). Просто таки смешение терминов
#opensource #standards #ai #google #knowledge
Не они первые и не они последние кто реализует эту идею, она прямо таки уже стала одержимостью для многих в ИИ сообществе и неспроста, поскольку переосмысливает некоторые устоявшиеся подходы. Например, то что каталог данных/метаданных теперь может быть каталогом знаний. Вроде как очевидно, но не совсем.
Что мне нравится - открытая и простая спецификация, достаточно крупный/тяжелый бренд ее реализующий.
Что мне не нравится - хочется что-то отчуждаемое от конкретного проприетарного продукта, в данном случае облака Google.
Если будет реализация только в открытом коде и без привязки к облакам - это идеальный вариант. Впрочем, не забываем что реализаций/спецификаций много, так что будет ли эта популярна еще не очевидна.
P.S. Название, конечно, придумано весьма сомнительное учитывая существование Open Knowledge Foundation (OKF). Просто таки смешение терминов
#opensource #standards #ai #google #knowledge
👍12✍2❤🔥2