Когда-то очень давно я сделал такой простой сервис под названием Plain Russian по аналогии с Plain English. В сервисе я тогда адаптировал к русскому языку некоторое число формул оценки простоты текста о чем написал заметку на Хабре.
За много лет сервис не менялся, не доходили руки, если честно. Хотя изначально задумка была в том чтобы кроме русского охватить и другие языки. С появлением ИИ сервисов и LLM вопрос стал еще более актуальным поскольку большинство тех кого я знаю используют сейчас Claude, ChatGPT и др. для оценки правки текста.
Но, у меня есть подозрение, что польза от приватного инструмента есть. Того в котором на сервер ничего не передается, кроме как в специальных случаях когда пользователь этого хочет.
Так что, парам пам пам, новая, бета версия PlainRussian в виде настольного приложения для Mac, Windows и Linux позволяющее делать оценку понятности и ясности языка и с опцией подключения LLM, как локальной таки облачной, тут Вы сами можете решить хотите ли что-то передавать куда-то или нет. Базовые оценки вообще без LLM формируются.
Приложение сделано на WebAssembly и его можно запустить не скачивая прямо в браузере. При этом оно полностью в браузере работает так что его режим работы приватный по умолчанию, как говорят serverless и privacy-first.
У проекта открытый код, на Rust и Typescript.
А из экзотики у настольной версии есть опция интеграции со сберовским Gigachat'ом, но неооттестрованная потому что работа с ним требует установки корневых сертификатов Минцифры РФ и надо создавать там аккаунт. Так что поддержка как бы есть, но она непроверена.
В размышлениях как его улучшить.
- добавить заодно другие популярные языки
- добавить наоборот не самые популярные: армянский, узбекский, казахский и тд.
- добавить опции автопереписывания текста с плюшками которых нет у LLM по умолчанию
- интегрировать с ИИ от Яндекса и других российских провайдеров?
В любом случае сейчас это все существует в форме маленького открытого некоммерческого проекта.
У всего этого версия 0.1.0, сейчас период бета тестирования и если найдутся ошибки, будут идеи и пожелания и тд. то можно писать в чате к этому каналу, мне напрямую или в issues проекта.
#opensource #plainlanguage
За много лет сервис не менялся, не доходили руки, если честно. Хотя изначально задумка была в том чтобы кроме русского охватить и другие языки. С появлением ИИ сервисов и LLM вопрос стал еще более актуальным поскольку большинство тех кого я знаю используют сейчас Claude, ChatGPT и др. для оценки правки текста.
Но, у меня есть подозрение, что польза от приватного инструмента есть. Того в котором на сервер ничего не передается, кроме как в специальных случаях когда пользователь этого хочет.
Так что, парам пам пам, новая, бета версия PlainRussian в виде настольного приложения для Mac, Windows и Linux позволяющее делать оценку понятности и ясности языка и с опцией подключения LLM, как локальной таки облачной, тут Вы сами можете решить хотите ли что-то передавать куда-то или нет. Базовые оценки вообще без LLM формируются.
Приложение сделано на WebAssembly и его можно запустить не скачивая прямо в браузере. При этом оно полностью в браузере работает так что его режим работы приватный по умолчанию, как говорят serverless и privacy-first.
У проекта открытый код, на Rust и Typescript.
А из экзотики у настольной версии есть опция интеграции со сберовским Gigachat'ом, но неооттестрованная потому что работа с ним требует установки корневых сертификатов Минцифры РФ и надо создавать там аккаунт. Так что поддержка как бы есть, но она непроверена.
В размышлениях как его улучшить.
- добавить заодно другие популярные языки
- добавить наоборот не самые популярные: армянский, узбекский, казахский и тд.
- добавить опции автопереписывания текста с плюшками которых нет у LLM по умолчанию
- интегрировать с ИИ от Яндекса и других российских провайдеров?
В любом случае сейчас это все существует в форме маленького открытого некоммерческого проекта.
У всего этого версия 0.1.0, сейчас период бета тестирования и если найдутся ошибки, будут идеи и пожелания и тд. то можно писать в чате к этому каналу, мне напрямую или в issues проекта.
#opensource #plainlanguage
❤🔥10❤4🔥4👍3🎉2🤔1
Семантические типы данных - это смысловое и терминологическое описание содержимого колонки таблицы или привязанной к ключу записи в дата файле. Например, называется колонка country и можно предполагать что там название страны на одном из языков. Перечислены в колонке значения 2026-01-01, 2026-01-02 и тд., можно определить что это даты и так далее.
Я много лет возился семантическими типами данных и даже писал об этом Semantic data types. Systematic approach and types registry. Потом это стало чуть менее приоритетным в работе, но осталось в моих интересах.
И вот на выходных я заодно обновил реестр семантических типов данных registry.apicrafter.io который существенно расширился до 1836 семантических типов большая часть которых про географические идентификаторы и про персональные данные.
А заодно обновил инструмент metacrafter и правила к нему metacrafter-rules который умеет идентифицировать хоть и не все, но очень многие из этих семантических типов и делает это очень быстро.
В этой итерации у инструмента уже есть измерения precision и recall на тестовой выборке в 243 файла и показатели куда сильнее приблизились к промышленному применению.
Можно обратить внимание что существенная часть семантических типов 151 и 1836 и существеная часть правил заточены под российские данные. В первую очередь по той причине что у меня на руках были архивные слепки российских порталов открытых данных и обнаружение многих семантических типов данных проводилось на их основе.
Ну и конечно не могу не отметить что сам инструмент metacrafter стал значительно точнее, а реестр семантических типов полностью обновлен для поддержки ИИ агентов и семантические типы можно идентифицифровать своими силами используя любимые LLM инструменты в привязке к значениям в реестре.
#opensource #opendata #datatools #semanticdatatypes #understandingdata
Я много лет возился семантическими типами данных и даже писал об этом Semantic data types. Systematic approach and types registry. Потом это стало чуть менее приоритетным в работе, но осталось в моих интересах.
И вот на выходных я заодно обновил реестр семантических типов данных registry.apicrafter.io который существенно расширился до 1836 семантических типов большая часть которых про географические идентификаторы и про персональные данные.
А заодно обновил инструмент metacrafter и правила к нему metacrafter-rules который умеет идентифицировать хоть и не все, но очень многие из этих семантических типов и делает это очень быстро.
В этой итерации у инструмента уже есть измерения precision и recall на тестовой выборке в 243 файла и показатели куда сильнее приблизились к промышленному применению.
Можно обратить внимание что существенная часть семантических типов 151 и 1836 и существеная часть правил заточены под российские данные. В первую очередь по той причине что у меня на руках были архивные слепки российских порталов открытых данных и обнаружение многих семантических типов данных проводилось на их основе.
Ну и конечно не могу не отметить что сам инструмент metacrafter стал значительно точнее, а реестр семантических типов полностью обновлен для поддержки ИИ агентов и семантические типы можно идентифицифровать своими силами используя любимые LLM инструменты в привязке к значениям в реестре.
#opensource #opendata #datatools #semanticdatatypes #understandingdata
👍8✍4
А вот и вторая книга над которой я работал в этом году Инвентаризация данных. Собрана из десятков моих текстов, лекций и презентаций и посвящена тому как инвентаризировать данные находящиеся в собственном управлении или под свои задачи - тут еще и пересекается с data discovery (поиском и обнаружением данных).
Книга пересекается с книгой Каталоги данных поскольку многое в том как устроены каталоги данных проистекает как раз из задач инвентаризации.
Эта книга только на русском языке и тоже непонятно насколько она может быть полезна внутри РФ поскольку с доступностью данных в стране сейчас скорее идет в сторону ухудшения чем улучшения, но на русском языке говорят и пишут во многих странах так что я решил что в завершенном состоянии она будет более полезна чем если так и останется в виде закрытого черновика.
Как всегда обратная связь приветствуется и более чем ценна. Если найдете ошибки, неточности или чего-то будет нехватать - напишите обязательно.
#opendata #datacatalogs #books #readings #dataengineering
Книга пересекается с книгой Каталоги данных поскольку многое в том как устроены каталоги данных проистекает как раз из задач инвентаризации.
Эта книга только на русском языке и тоже непонятно насколько она может быть полезна внутри РФ поскольку с доступностью данных в стране сейчас скорее идет в сторону ухудшения чем улучшения, но на русском языке говорят и пишут во многих странах так что я решил что в завершенном состоянии она будет более полезна чем если так и останется в виде закрытого черновика.
Как всегда обратная связь приветствуется и более чем ценна. Если найдете ошибки, неточности или чего-то будет нехватать - напишите обязательно.
#opendata #datacatalogs #books #readings #dataengineering
12👍21🔥8🎉6✍4❤1
Forwarded from
В продолжение ранее опубликованных данных официальной статистики, на портале открытых данных мы опубликовали полную базу статистики Статбанка Армстата в виде цельного набора данных.
Это не первичные данные, ранее извлеченные и опубликованные "как есть", а собранная из них база данных.
Что о ней важно знать:
1. База данных создана как сводная из 824 таблиц индикаторов к которым теперь можно делать запросы с помощью языка работы с данными SQL.
2. Данные опубликованы в формате Parquet и в виде базы DuckDB. Parquet это популярные компактный формат для распространения данных используемый в data science. А DuckDB - это одна из наиболее популярных настольных баз данных отличающаяся очень высокой производительностью и удобством для аналитических задач.
3. В Статбанке Армстата всего два языка - армянский и английский. Причем в переводе на английский было немного ошибок. В созданной базе данных эти ошибки были исправлены, а также добавлен машинный перевод на русский язык для тех кто хотел бы работать с этими данными используя русскоязычные названия.
4. Вся документация на базу данных представлена также на этих трех языках и включает общее описание и подробности по структуре и схемам данных.
5. Код создания базы данных доступен под свободной лицензией MIT. Если Вы найдете ошибки то можно отправить их прямо в Github или в чате к каналу Open Data Armenia
Самый простой способ использовать эти данные - это скачать базу DuckDB и выполнить команду duckdb armstat.duckdb для работы с командной строки или duckdb -ui armstat.duckdb для запуска веб интерфейса.
Обратная связь от Вас очень важна для нашей команды. Обязательно напишите если найдете ошибки или если будут предложения чего нехватает.
#opendata #opensource #armenia #datasets
Это не первичные данные, ранее извлеченные и опубликованные "как есть", а собранная из них база данных.
Что о ней важно знать:
1. База данных создана как сводная из 824 таблиц индикаторов к которым теперь можно делать запросы с помощью языка работы с данными SQL.
2. Данные опубликованы в формате Parquet и в виде базы DuckDB. Parquet это популярные компактный формат для распространения данных используемый в data science. А DuckDB - это одна из наиболее популярных настольных баз данных отличающаяся очень высокой производительностью и удобством для аналитических задач.
3. В Статбанке Армстата всего два языка - армянский и английский. Причем в переводе на английский было немного ошибок. В созданной базе данных эти ошибки были исправлены, а также добавлен машинный перевод на русский язык для тех кто хотел бы работать с этими данными используя русскоязычные названия.
4. Вся документация на базу данных представлена также на этих трех языках и включает общее описание и подробности по структуре и схемам данных.
5. Код создания базы данных доступен под свободной лицензией MIT. Если Вы найдете ошибки то можно отправить их прямо в Github или в чате к каналу Open Data Armenia
Самый простой способ использовать эти данные - это скачать базу DuckDB и выполнить команду duckdb armstat.duckdb для работы с командной строки или duckdb -ui armstat.duckdb для запуска веб интерфейса.
Обратная связь от Вас очень важна для нашей команды. Обязательно напишите если найдете ошибки или если будут предложения чего нехватает.
#opendata #opensource #armenia #datasets
🔥5👍3✍2
Полезные ссылки про данные, технологии и не только:
- The Data Product Platform Navigator на сайте Мартина Фаулера обзор того как создавать дата продукты и дата мэш. С одной стороны концептуально описано многое неплохо, а с другой слишком часто в описании концептуальных вещей автор сваливается в технологическую конкретику которая у многих может сильно отличаться.
- auto-ontology фреймворк для Python от NVIDIA который превращает базы данных в онтологии. Выглядит как самый серьезный шаг в сторону генерации запросов к данным с помощью ИИ и замена/дополнение всего что касается text-to-sql
- Augmented Visual Analytics opensource продукт текст-в-аналитику, на основе данных дает ответы и строит графики. Умеет подключаться к базам данных и дата файлам.
- I discovered a sound that leaks your exact location смотрится как документальный детектив, автор объясняет как из звуковой дорожки идентифицировать точное местонахождение места ее записи, разбирая конкретный пример очень подробно. Параноикам на заметку, не выкладывайте звуковые и видео файлы без нужды
#dataengineering #ai #datatools #dataviz #osint
- The Data Product Platform Navigator на сайте Мартина Фаулера обзор того как создавать дата продукты и дата мэш. С одной стороны концептуально описано многое неплохо, а с другой слишком часто в описании концептуальных вещей автор сваливается в технологическую конкретику которая у многих может сильно отличаться.
- auto-ontology фреймворк для Python от NVIDIA который превращает базы данных в онтологии. Выглядит как самый серьезный шаг в сторону генерации запросов к данным с помощью ИИ и замена/дополнение всего что касается text-to-sql
- Augmented Visual Analytics opensource продукт текст-в-аналитику, на основе данных дает ответы и строит графики. Умеет подключаться к базам данных и дата файлам.
- I discovered a sound that leaks your exact location смотрится как документальный детектив, автор объясняет как из звуковой дорожки идентифицировать точное местонахождение места ее записи, разбирая конкретный пример очень подробно. Параноикам на заметку, не выкладывайте звуковые и видео файлы без нужды
#dataengineering #ai #datatools #dataviz #osint
martinfowler.com
The Data Product Platform Navigator
Struggling with data mesh adoption? Use the Platform Engineering Maturity Model as a navigator to pinpoint friction and guide your self-service data product platform.
✍6⚡2
В рубрике как это устроено у них Fields of The World (FTW) проект от Taylor Geospatial с геоданными по распознанным сельскохозяйственным полям с охватом 241 страны мира.
Отдают данные, код, API, модели для распознавания, плагин к QGIS и тд.
#opendata #opensource #ai #agriculture
Отдают данные, код, API, модели для распознавания, плагин к QGIS и тд.
#opendata #opensource #ai #agriculture
🔥4👍2✍1
Очередная порция размышлений вслух:
- Новые фронтирные модели всё более приближаются к тому чтобы заменять уже не джуниоров, а миддлов и даже синьёров. Уже сейчас они проектируют архитектуру ПО очень даже хорошо, а делают ревизию документов лучше многих экспертов. Я проверял на документах на которые я несколько лет назад писал отзывы и они находили в них даже больше ошибок и неточностей чем я тогда.
- Я не просто так жалуюсь на рост потоков технологического спама. Сегодня зарепотил два abuse report'а на пользователей на Github'е которые заваливали задачами и пул реквестами, даже если по делу, но сгенерированными ИИ ботами. В первом случае кто-то делал по тысяче пул реквестов в сутки, а во втором рекламировал свой сервис ревизии кода.
- Для фаундеров и руководителей ИТ компаний такой ажиотаж вокруг ИИ не на пустом месте. ИИ инструменты как создают новые ниши, так и разрушают существующие бизнес модели. Уже почти невозможно сидеть на попе ровно и получать деньги с клиентов за продление лицензий или ждать новых клиентов. При разработке любого нового продукта надо учитывать что кто-угодно может сделать его клон в кратчайшие сроки.
#thoughts
- Новые фронтирные модели всё более приближаются к тому чтобы заменять уже не джуниоров, а миддлов и даже синьёров. Уже сейчас они проектируют архитектуру ПО очень даже хорошо, а делают ревизию документов лучше многих экспертов. Я проверял на документах на которые я несколько лет назад писал отзывы и они находили в них даже больше ошибок и неточностей чем я тогда.
- Я не просто так жалуюсь на рост потоков технологического спама. Сегодня зарепотил два abuse report'а на пользователей на Github'е которые заваливали задачами и пул реквестами, даже если по делу, но сгенерированными ИИ ботами. В первом случае кто-то делал по тысяче пул реквестов в сутки, а во втором рекламировал свой сервис ревизии кода.
- Для фаундеров и руководителей ИТ компаний такой ажиотаж вокруг ИИ не на пустом месте. ИИ инструменты как создают новые ниши, так и разрушают существующие бизнес модели. Уже почти невозможно сидеть на попе ровно и получать деньги с клиентов за продление лицензий или ждать новых клиентов. При разработке любого нового продукта надо учитывать что кто-угодно может сделать его клон в кратчайшие сроки.
#thoughts
👍8✍4💯3⚡2❤2
Поскольку я уже столько лет не работал по найму и испытываю аллергию на корпоративные коммуникации, то какие-то дискуссии понимаю недостаточно вовлеченно что-ли.
И вот что это за срач вокруг HR Яндекса начался? И чем их подход к найму отличается отличается от российского и мирового ИТ крупняка? Да и вообще от всего "кровавого энтерпрайза" ?
И вот что это за срач вокруг HR Яндекса начался? И чем их подход к найму отличается отличается от российского и мирового ИТ крупняка? Да и вообще от всего "кровавого энтерпрайза" ?
🌚9👍6🤔5
Я недавно писал про продукт Plain Russian, Простой русский, который измеряет сложность русскоязычных текстов. Спасибо всем кто прислал обратную связь, я её систематизировал и вот такие запросы поступили:
- добавить шкалу/измерение для школьных текстов. Они меряются гораздо точнее чем тексты выше школьной программы потому что корпус текстов для обучения алгоритмов как раз основан на школьных текстах
- лучше измерять сложные слова, делать это не по числу слогов в слове, а по базам редких/наиболее популярных слов.
- добавит опцию переписывания текстов с помощью LLM (вот тут мне казалось что для этого проще саму LLM заюзать)
Что-то из этого уже почти готово и будет в новой версии.
Если Вам есть что добавить, обязательно пишите;)
#opensource #plainrussian #tools
- добавить шкалу/измерение для школьных текстов. Они меряются гораздо точнее чем тексты выше школьной программы потому что корпус текстов для обучения алгоритмов как раз основан на школьных текстах
- лучше измерять сложные слова, делать это не по числу слогов в слове, а по базам редких/наиболее популярных слов.
- добавит опцию переписывания текстов с помощью LLM (вот тут мне казалось что для этого проще саму LLM заюзать)
Что-то из этого уже почти готово и будет в новой версии.
Если Вам есть что добавить, обязательно пишите;)
#opensource #plainrussian #tools
🔥9👍4✍1
Полезные ссылки про данные, технологии и не только:
- Claude Data похоже Claude нацелились на то чтобы поубивать BI системы на корню интегрировав Claude Dashboards переименовав их в Claude Data. Для тех кто уже работает с данными с их помощью это инструмент замены текущего инструментария.
- DBDelve легковесный инструмент на Rust для работы с данными в СУБД. Явно завайбкоденный и с открытым кодом под GPL-3.0. Скоро поубивают и все коммерческие софтинки для работы с СУБД, а таких немало было!
- Is BI Dead? видео с основателями Hex, тетрадками работы с данными о том как они полностью переписали продукт под ИИ агенты.
#opensource #datatools #dataengineering
- Claude Data похоже Claude нацелились на то чтобы поубивать BI системы на корню интегрировав Claude Dashboards переименовав их в Claude Data. Для тех кто уже работает с данными с их помощью это инструмент замены текущего инструментария.
- DBDelve легковесный инструмент на Rust для работы с данными в СУБД. Явно завайбкоденный и с открытым кодом под GPL-3.0. Скоро поубивают и все коммерческие софтинки для работы с СУБД, а таких немало было!
- Is BI Dead? видео с основателями Hex, тетрадками работы с данными о том как они полностью переписали продукт под ИИ агенты.
#opensource #datatools #dataengineering
Claude
Claude Whiteboards, Claude Sheets, and Claude Data
Brainstorm on a shared whiteboard, build a spreadsheet, and share dashboards with your team, all with Claude. Available today on all paid plans.
✍8❤1
К вопросу о изменении моделей использования сервисов с помощью агентов. Когда я недавно доделывал атлас по геоданным Армении, то одной из задач в нем было в том чтобы собрать доступные геоданные по стране. Собственно по Армении их никогда не было особо много общедоступных да и атлас я очищал от ошибок с помощью Claude, собственно из-за этих ошибок и его анонс затянулся больше чем на полгода, в TerriaMaps надо было исправить несколько неприятных багов с кодировками, отображением некоторых данных и так далее. Долго ли коротко ли, но я подключил агента к API Dateno и поставил ему задачей найти картографические слои относящиеся к Армении. К слову, разобрался он с API моментально и столь же моментально выжрал квоту в 200 запросов в день на тарифе Free.
Собственно это, конечно, стремительно меня мотивировало стать коммерческим подписчиком создаваемого нами сервиса😂 Потому что так-то для работы с данными я всегда мог подключиться к поисковому индексу через SQL напрямую, но агента напрямую пускать туда точно желания не было, а у Dateno хорошо работающие API и MCP. По Армении я тогда все что было быстро найти нашел и на maps.opendata.am можно посмотреть какие геослои доступны. Но захотеть сделать такой красивый атлас по другой стране или региону, то квота нужна побольше, даже бесплатная.
Собственно это особенность того что ИИ агенты жрут API квоты как не в себя. И выбирая между сервисами, более лояльные квоты экономнее. Я ранее рассказывал как искалновые каталоги данных с помощью сервиса Censys (глобальная база сканирования IP адресов и веб-серверов) и выходило это очень накладно. После того как я переключился на китайский FOFA который имеет убогий веб интерфейс, но отлично работающее API с хорошей квотой, вот тогда процесс и пошел отлично.
#thoughts #data #dateno
Собственно это, конечно, стремительно меня мотивировало стать коммерческим подписчиком создаваемого нами сервиса😂 Потому что так-то для работы с данными я всегда мог подключиться к поисковому индексу через SQL напрямую, но агента напрямую пускать туда точно желания не было, а у Dateno хорошо работающие API и MCP. По Армении я тогда все что было быстро найти нашел и на maps.opendata.am можно посмотреть какие геослои доступны. Но захотеть сделать такой красивый атлас по другой стране или региону, то квота нужна побольше, даже бесплатная.
Собственно это особенность того что ИИ агенты жрут API квоты как не в себя. И выбирая между сервисами, более лояльные квоты экономнее. Я ранее рассказывал как искалновые каталоги данных с помощью сервиса Censys (глобальная база сканирования IP адресов и веб-серверов) и выходило это очень накладно. После того как я переключился на китайский FOFA который имеет убогий веб интерфейс, но отлично работающее API с хорошей квотой, вот тогда процесс и пошел отлично.
#thoughts #data #dateno
Telegram
Ivan Begtin
Для тех кто работает с геоданными и интересуется географией Армении мы открываем сервис Open Data Armenia Atlas https://maps.opendata.am/
Это геопортал на базе открытого кода TerriaJS и позволяющий не только подключать разные картографические слои, но и…
Это геопортал на базе открытого кода TerriaJS и позволяющий не только подключать разные картографические слои, но и…
✍4❤2
Полезное чтение про данные, технологии и не только:
- Commission turns to artificial intelligence to write better laws Еврокомиссия планирует начать применять ИИ для подготовки лучших и более понятных законов. Похвальная инициатива, главное не забыть следующий шаг когда ИИ будет заменять законотворцев, а не помогать им.
- AI Shakes Volunteer Sites о том как ИИ меняет онлайн сообщества, разрушает StackOverflow, помогает "процветанию" Github'а и Reddit'а.
- Satellite Imagery Is Being Restricted. The U.S. Government Is to Blame ссылка на пересказ статьи в NYT о том как Пр-во США влияет на коммерческие компании предоставляющие доступ к спутниковым снимкам скрывать сведения о чувствительных местах. Сама статья за пэйволом, но общая мысль очевидна. Государство крупнейший покупатель у этих компаний, а деньги оказываются отличным рычагом влияния.
- A shared agenda for the economics of data научный обзор ключевых вопросов экономики данных в контексте использования ИИ.
#readings #data #aiagents
- Commission turns to artificial intelligence to write better laws Еврокомиссия планирует начать применять ИИ для подготовки лучших и более понятных законов. Похвальная инициатива, главное не забыть следующий шаг когда ИИ будет заменять законотворцев, а не помогать им.
- AI Shakes Volunteer Sites о том как ИИ меняет онлайн сообщества, разрушает StackOverflow, помогает "процветанию" Github'а и Reddit'а.
- Satellite Imagery Is Being Restricted. The U.S. Government Is to Blame ссылка на пересказ статьи в NYT о том как Пр-во США влияет на коммерческие компании предоставляющие доступ к спутниковым снимкам скрывать сведения о чувствительных местах. Сама статья за пэйволом, но общая мысль очевидна. Государство крупнейший покупатель у этих компаний, а деньги оказываются отличным рычагом влияния.
- A shared agenda for the economics of data научный обзор ключевых вопросов экономики данных в контексте использования ИИ.
#readings #data #aiagents
POLITICO
Commission turns to artificial intelligence to write better laws – POLITICO
Brussels is using AI tools in its ongoing battle against overly complex regulations.
👍6✍3🤔2🙏1
В продолжение про книги которые я ранее публиковал, про каталоги данных и про инвентаризацию данных, есть темы на которые я хочу завершить свои черновики и превратить в книгу/книги. Одна из них - это "Понимание данных" о том как человечество работает с данными, особенности структуризации данных, почему таблицы выглядят как таблицы, что такое семантическое аннотирование, разметка и семантические типы данных. Часть про семантические типы и разметку - самая практическая, остальное скорее про некоторые разные формы систематизации мышления и про то что 99% способов и результатов представления данных упаковываются в ограниченное число шаблонов: смысловых и технических.
А вторая Скрытые данные про извлечение метаданных и иных скрытых сведений из не самых очевидных файлов, документов, мест на компьютере и тд. Таких скрытых данных немало, скрытые вкладки в Excel, замазанный, но реально доступный текст в PDF, множественные вложенные объекты выдающие реальный процесс создания документа и так далее. Вот эту тему я давно откладываю и откладываю поскольку она куда ближе к темам форенсики и OSINT, хотя и пересекается отчасти с работами по архивации цифровых объектов.
Причем и то и другое теперь делается по другому если есть доступ к ИИ агентам и возможность загрузить туда данные/файл. С одной стороны, а с другой стороны, например, и сокрытие данных/метаданных стало принципиально проще.
#thoughts
А вторая Скрытые данные про извлечение метаданных и иных скрытых сведений из не самых очевидных файлов, документов, мест на компьютере и тд. Таких скрытых данных немало, скрытые вкладки в Excel, замазанный, но реально доступный текст в PDF, множественные вложенные объекты выдающие реальный процесс создания документа и так далее. Вот эту тему я давно откладываю и откладываю поскольку она куда ближе к темам форенсики и OSINT, хотя и пересекается отчасти с работами по архивации цифровых объектов.
Причем и то и другое теперь делается по другому если есть доступ к ИИ агентам и возможность загрузить туда данные/файл. С одной стороны, а с другой стороны, например, и сокрытие данных/метаданных стало принципиально проще.
#thoughts
❤13👍8🔥1
К рассуждениям про семантические типы данных как способ описания структуры данных, я знаю лишь одну область в которой это решалось и решается систематизированно, это биоинформатика и конкретный пример это реестр idenifiers.org c 867 понятиями из областей биологии, генетики, биоинформатики, медицины и других областей life science по которым зарегистрированы как раз то что можно назвать семантическими типами включая названия, описания, шаблоны проверки, примеры и так далее.
Для сравнения большая часть других предметных областей, как правило, оперируют гораздо меньшими пространствами справочных идентификаторов, в особенности систематизированных. А если обратить внимание на типы данных наиболее общепринятых и часто встречаемых, то там все попытки ограничиваются Schema.org и SEMIC.
В мире онтологий семантические типы данных это, с одной стороны естественный способ аннотирования данных, а с другой стороны предполагается что данные изначально имеют разметку в RDF и других нотациях принятых в Semantic Web. В корпоративном мире онтологии применяются, либо при достижения ощутимо значимого уровня сложности данных, либо на стыковке с теми данными которые изначально имеют онтологическую привязку. Это как раз естественно в областях вроде биоинформатики, и совсем совсем неестественно в областях вроде корпоративных данных где аннотирование PII (персональных данных) более значимо чем "идеальность" моделирования данных.
#thoughts #understandingdata
Для сравнения большая часть других предметных областей, как правило, оперируют гораздо меньшими пространствами справочных идентификаторов, в особенности систематизированных. А если обратить внимание на типы данных наиболее общепринятых и часто встречаемых, то там все попытки ограничиваются Schema.org и SEMIC.
В мире онтологий семантические типы данных это, с одной стороны естественный способ аннотирования данных, а с другой стороны предполагается что данные изначально имеют разметку в RDF и других нотациях принятых в Semantic Web. В корпоративном мире онтологии применяются, либо при достижения ощутимо значимого уровня сложности данных, либо на стыковке с теми данными которые изначально имеют онтологическую привязку. Это как раз естественно в областях вроде биоинформатики, и совсем совсем неестественно в областях вроде корпоративных данных где аннотирование PII (персональных данных) более значимо чем "идеальность" моделирования данных.
#thoughts #understandingdata
👍7❤6
Про отличие вендорского открытого кода от открытого кода.
Недавно я занимался тем что подбирал BI решение для одного из своих проектов. Одна из его особенностей была в том что он должен иметь опцию работы внутри локальной сети без внешних подключений. Это не основной сценарий использования, но он есть и его важно было проверить. Что я и сделал перебрав примерно десяток BI инструментов и остановился на том что проще сделать инхаус инструмент на связке DuckDB + Mosaic чем использовать готовые, и даже очень симпатичные продукты. Почему так?
Когда венчурный капитал массово пришел к проектам на открытом коде (или наоборот, проекты на открытом коде массово вышли на венчурный капитал), появилось очень много open source проектов у которых есть бесплатная версия с открытым кодом и SaaS продукт на его основе со множеством улучшений.
Однако коммерческие KPI в таких продуктах практически всегда зависят от степени привязки пользователя к вендору и о том насколько хорошо вендоры о своих пользователях знают. Поэтому почти во всем вендорском открытом коде есть телеметрия, которая активирована по умолчанию и которую почти всегда можно отключить, но о том что ее надо отключать тоже надо знать, а знают это не все. Более того когда Вы ведете разработку с помощью ИИ агента, то скорее всего он будет устанавливать их с включенной телеметрией. И это еще самое безобидное.
Серьезнее когда внутри ПО открытым кодом есть проприетарные зависимости. Например, очень симпатичный BI продукт anfra. Архитектура, логика и визуализация на высоте, выглядит как пригодный к работе BI инструмент адаптированный под генерацию визуализации с помощью ИИ. Проблема в том что внутри открытого кода anfra лежат две зависимости от
Из других особенностей:
- смешение открытого и проприетарного кода
- выведение в облачный продукт наиболее востребованных функций и лицензионные ограничения на добавление их в основной код
- зависимость работы от облачной инфраструктуры (авторизация, загрузка веб-ресурсов)
Причем многие из этих продуктов позиционируются как отчуждаемые от вендора, хотя это совсем не так.
Проверка на такие "нюансы" вручную дело довольно длительное и утомительное, а вот ИИ агенты вполне справляются с подобным и весьма эффективно.
...
#thoughts #opensource
Недавно я занимался тем что подбирал BI решение для одного из своих проектов. Одна из его особенностей была в том что он должен иметь опцию работы внутри локальной сети без внешних подключений. Это не основной сценарий использования, но он есть и его важно было проверить. Что я и сделал перебрав примерно десяток BI инструментов и остановился на том что проще сделать инхаус инструмент на связке DuckDB + Mosaic чем использовать готовые, и даже очень симпатичные продукты. Почему так?
Когда венчурный капитал массово пришел к проектам на открытом коде (или наоборот, проекты на открытом коде массово вышли на венчурный капитал), появилось очень много open source проектов у которых есть бесплатная версия с открытым кодом и SaaS продукт на его основе со множеством улучшений.
Однако коммерческие KPI в таких продуктах практически всегда зависят от степени привязки пользователя к вендору и о том насколько хорошо вендоры о своих пользователях знают. Поэтому почти во всем вендорском открытом коде есть телеметрия, которая активирована по умолчанию и которую почти всегда можно отключить, но о том что ее надо отключать тоже надо знать, а знают это не все. Более того когда Вы ведете разработку с помощью ИИ агента, то скорее всего он будет устанавливать их с включенной телеметрией. И это еще самое безобидное.
Серьезнее когда внутри ПО открытым кодом есть проприетарные зависимости. Например, очень симпатичный BI продукт anfra. Архитектура, логика и визуализация на высоте, выглядит как пригодный к работе BI инструмент адаптированный под генерацию визуализации с помощью ИИ. Проблема в том что внутри открытого кода anfra лежат две зависимости от
anfra-node и anfra-canal из их приватных репозиториев. Аналогично Datus хоть и не BI инструмент, но дата инженерный агент помогающий построить промежуточный слой для BI. Внутри Datus'а используется проприетарный dosi-engine. Из других особенностей:
- смешение открытого и проприетарного кода
- выведение в облачный продукт наиболее востребованных функций и лицензионные ограничения на добавление их в основной код
- зависимость работы от облачной инфраструктуры (авторизация, загрузка веб-ресурсов)
Причем многие из этих продуктов позиционируются как отчуждаемые от вендора, хотя это совсем не так.
Проверка на такие "нюансы" вручную дело довольно длительное и утомительное, а вот ИИ агенты вполне справляются с подобным и весьма эффективно.
...
#thoughts #opensource
idl.uw.edu
Mosaic
Scalable, interactive data visualization
✍8❤3