В MIT Technology Preview статья This is where the data to build AI comes from [1] о том откуда разработчики ИИ берут данные. В основе статьи доклад от группы The Data Provenance Initiative занимающейся анализом источников данных для ИИ, исследованием происхождения и юридического статуса наборов данных.
Работа эта, в целом, неблагодарная, но необходимая и в этом докладе и в статье много важных инсайтов которые можно начать с того что 90% всех данных на которых учат ИИ происходят из США и Европы. Факт которые кажется и так очевидным, но тут имеющий фактическое подтверждение.
Другой факт который я бы выделил. в том что прямой вклад государства в наборы данных для ИИ менее 10%. Среди создателей датасетов в виде текстовых ресурсов это только 9.3%, для аудио около 6% и для видео не более 1%.
Большая часть качественных датасетов создаются исследовательскими центрами и группами, а также лабораториями от индустрии разработчиков ИИ.
Важно также что резко растёт использование синтетических данных, данных соцмедиа и текстов веб сайтов, это существенное изменение по сравнению с тем как ранее собирались академические наборы данных в компьютерной лингвистике.
И, наконец, немаловажно что многие источники датасетов имеют гораздо большие ограничения на использование чем декларируемые лицензии. Простой пример, кто-то собрал датасет с видео из ТикТока и выложил его под лицензией CC-BY, но лицензия ТикТока не CC-BY, она довольно запретительна и разработчики ИИ имеют юридические риски в таких случаях, а их очень много.
Ссылки:
[1] https://www.technologyreview.com/2024/12/18/1108796/this-is-where-the-data-to-build-ai-comes-from/
[2] https://www.dataprovenance.org/Multimodal_Data_Provenance.pdf
#opendata #ai #datasets #linguistics
Работа эта, в целом, неблагодарная, но необходимая и в этом докладе и в статье много важных инсайтов которые можно начать с того что 90% всех данных на которых учат ИИ происходят из США и Европы. Факт которые кажется и так очевидным, но тут имеющий фактическое подтверждение.
Другой факт который я бы выделил. в том что прямой вклад государства в наборы данных для ИИ менее 10%. Среди создателей датасетов в виде текстовых ресурсов это только 9.3%, для аудио около 6% и для видео не более 1%.
Большая часть качественных датасетов создаются исследовательскими центрами и группами, а также лабораториями от индустрии разработчиков ИИ.
Важно также что резко растёт использование синтетических данных, данных соцмедиа и текстов веб сайтов, это существенное изменение по сравнению с тем как ранее собирались академические наборы данных в компьютерной лингвистике.
И, наконец, немаловажно что многие источники датасетов имеют гораздо большие ограничения на использование чем декларируемые лицензии. Простой пример, кто-то собрал датасет с видео из ТикТока и выложил его под лицензией CC-BY, но лицензия ТикТока не CC-BY, она довольно запретительна и разработчики ИИ имеют юридические риски в таких случаях, а их очень много.
Ссылки:
[1] https://www.technologyreview.com/2024/12/18/1108796/this-is-where-the-data-to-build-ai-comes-from/
[2] https://www.dataprovenance.org/Multimodal_Data_Provenance.pdf
#opendata #ai #datasets #linguistics
👍12⚡3❤2
В рубрике как это устроено у них европейский проект European Language Grid (ELG) включающий каталог языковых ресурсов по языкам Евросоюза и по языковым ресурсам собранным в странах Евросоюза, включая русский, турецкий, казахский, украинский, белорусский и др. В общей сложности это более 8 тысяч ресурсов где, например, по русскому языку их около 700. Каталог включает как данные для выгрузки, так и ссылки на внешние ресурсы, так что это что-то гибридное между каталогом данных и поисковиком по метаданным.
С одной стороны это интересный ресурс с материалами компьютерной лингвистики, а с другой в Виртуальной языковой обсерватории (VLO) проекта CLARIN языковых ресурсов почти 564 тысячи. Можно, конечно, говорить что что ELG про каталог данных, а VLO это все виды цифровых ресурсов, но и в ELG не только наборы данных, да и каталог данных там без схем, кодебуков, документации так далее. Тем не менее ещё один каталог данных Евросоюза.
#opendata #datacatalogs #europe #linguistics
С одной стороны это интересный ресурс с материалами компьютерной лингвистики, а с другой в Виртуальной языковой обсерватории (VLO) проекта CLARIN языковых ресурсов почти 564 тысячи. Можно, конечно, говорить что что ELG про каталог данных, а VLO это все виды цифровых ресурсов, но и в ELG не только наборы данных, да и каталог данных там без схем, кодебуков, документации так далее. Тем не менее ещё один каталог данных Евросоюза.
#opendata #datacatalogs #europe #linguistics
👍3❤1🔥1