Mozilla запустили монетизацию их Mozilla Data Collective. Корпоративная подписка там стоит $3000 в месяц, а в основе монетизации число наборов данных которые можно скачивать ежесуточно. На бесплатном тарифе 7, на тарифе Pro (за $70) 20 наборов данных, а на Enterprise без ограничений.
Как будет устроена их экономика мне непонятно, потому что большая часть данных в их каталоге идут под свободными лицензиями и что мешает скачать наборы данных и раздавать их через торренты или как-либо ещё? Только стоимость трафика и хостинга, но они не запредельны.
Фактически они делают шаг от портала с открытыми данными для обучения по редким языкам к части инфраструктуры для обучения ИИ. Есть ли у этого эффективная монетизация, у меня есть сомнения, но может быть и есть, а я её просто не знаю?
#opendata #closeddata #mozilla #ai #datacatalogs
Как будет устроена их экономика мне непонятно, потому что большая часть данных в их каталоге идут под свободными лицензиями и что мешает скачать наборы данных и раздавать их через торренты или как-либо ещё? Только стоимость трафика и хостинга, но они не запредельны.
Фактически они делают шаг от портала с открытыми данными для обучения по редким языкам к части инфраструктуры для обучения ИИ. Есть ли у этого эффективная монетизация, у меня есть сомнения, но может быть и есть, а я её просто не знаю?
#opendata #closeddata #mozilla #ai #datacatalogs
🤔8👍5💯4❤1✍1
Полезное чтение про данные, технологии и не только:
- AI-Ready Data (White Paper) свежий документ от Swiss Data Alliance про то как данные адаптируются под применение ИИ агентов и ИИ в принципе. Все в контексте Швейцарии, с конкретными примерами
- The EPA Is Quietly Killing its Web Archive в США Environmental Protection Agency анонсировало удаление их онлайн веб архива archive.epa.gov до конца 2026 года.
- Ontologies for AI in practice автор рассказывает о том как они скормили LLM данные в RDF и с онтологией чтобы получать лучшие результаты чем остальными методами. Эксперимент интересный, но, я бы не считал его панацеей.
- Who’s buying your personal data: Disney, GM, your insurer and bank. Here’s what they get о том как устроен рынок персональных данных в США. Для более ясного понимания важно знать что устроен он гораздо хуже и в странах где граждане защищены больше можно хотя бы узнать что-то, а там где защиты нет, то можно только предполагать худшее
#opendata #data #ai #digitalpreservation #webarchives
- AI-Ready Data (White Paper) свежий документ от Swiss Data Alliance про то как данные адаптируются под применение ИИ агентов и ИИ в принципе. Все в контексте Швейцарии, с конкретными примерами
- The EPA Is Quietly Killing its Web Archive в США Environmental Protection Agency анонсировало удаление их онлайн веб архива archive.epa.gov до конца 2026 года.
- Ontologies for AI in practice автор рассказывает о том как они скормили LLM данные в RDF и с онтологией чтобы получать лучшие результаты чем остальными методами. Эксперимент интересный, но, я бы не считал его панацеей.
- Who’s buying your personal data: Disney, GM, your insurer and bank. Here’s what they get о том как устроен рынок персональных данных в США. Для более ясного понимания важно знать что устроен он гораздо хуже и в странах где граждане защищены больше можно хотя бы узнать что-то, а там где защиты нет, то можно только предполагать худшее
#opendata #data #ai #digitalpreservation #webarchives
Swiss Data Alliance
AI-Ready Data (White Paper) — Swiss Data Alliance
✍2👍2
Про обновление инструментов работы с данными. Я чаще всего в работе использую собственный инструментарий для работы с данными, я регулярно писал раньше про эти инструменты и продолжаю их обновлять.
- iterabledata библиотека для Python для универсального чтения и записи любых итеративных файлов и источников с данными (CSV, JSON, JSONl, AVRO, Parquet) и более сотни более редких и подключения к СУБД, вышел релиз 1.1.0 с множеством исправлений и существенным ускорением чтения и записи наиболее популярных форматов файлов. В документации много примеров, а сам инструмент более всего годится когда надо работать с форматами данных которые хочется обрабатывать как JSON или CSV, а для этого надо писать преобразующий код. По охвату форматов ее уже можно почти не расширять, а ускорять есть куда и вот это обновление про ускорение.
- undatum утилита командной строки для всяческих преобразований и анализа данных как в простых и плоских форматах, так и в сложных и иерархичных. Новая версия 2.0.0 включает много обновлений ускоряющих работу, для тех форматов и операций где это возможно используется движок DuckDB даже более чем раньше, а там где такой возможности нет используется iterabledata с учетом последних изменений и оптимизаций, плюс реализован механизм кеширования, плюс много разных других изменений. В документации много примеров использования и подробнее про производительность. Для меня это как полноценный швейцарский нож для работы с данными,
- apibackuper изначально это инструмент архивирования содержимого API, последовательно обходящий по страницам и сохраняющий результаты локально как первичные данные и умеющих экспортировать уже в нужный формат. Работает по спекам описываемым в YAML файле. В новой версии 3.0,0 много исправлений и добавление ряда фич включая возможность выгрузки из API где навигация идет через курсор, ссылки в полях вроде вроде next_url. А также поддержка OAuth2 и уменьшение потребления памяти при скачивании файлов. Я использую этот инструмент для архивации разного рода дата порталов, но можно применять и в задачах скрейпинга данных тоже конечно
#opensource #opendata #datatools
- iterabledata библиотека для Python для универсального чтения и записи любых итеративных файлов и источников с данными (CSV, JSON, JSONl, AVRO, Parquet) и более сотни более редких и подключения к СУБД, вышел релиз 1.1.0 с множеством исправлений и существенным ускорением чтения и записи наиболее популярных форматов файлов. В документации много примеров, а сам инструмент более всего годится когда надо работать с форматами данных которые хочется обрабатывать как JSON или CSV, а для этого надо писать преобразующий код. По охвату форматов ее уже можно почти не расширять, а ускорять есть куда и вот это обновление про ускорение.
- undatum утилита командной строки для всяческих преобразований и анализа данных как в простых и плоских форматах, так и в сложных и иерархичных. Новая версия 2.0.0 включает много обновлений ускоряющих работу, для тех форматов и операций где это возможно используется движок DuckDB даже более чем раньше, а там где такой возможности нет используется iterabledata с учетом последних изменений и оптимизаций, плюс реализован механизм кеширования, плюс много разных других изменений. В документации много примеров использования и подробнее про производительность. Для меня это как полноценный швейцарский нож для работы с данными,
- apibackuper изначально это инструмент архивирования содержимого API, последовательно обходящий по страницам и сохраняющий результаты локально как первичные данные и умеющих экспортировать уже в нужный формат. Работает по спекам описываемым в YAML файле. В новой версии 3.0,0 много исправлений и добавление ряда фич включая возможность выгрузки из API где навигация идет через курсор, ссылки в полях вроде вроде next_url. А также поддержка OAuth2 и уменьшение потребления памяти при скачивании файлов. Я использую этот инструмент для архивации разного рода дата порталов, но можно применять и в задачах скрейпинга данных тоже конечно
#opensource #opendata #datatools
GitHub
Release Release v1.1.0 · datenoio/iterabledata
What's Changed
Retry MCP Registry publish until PyPI indexes the release by @ivbeg in #23
Document that iterable-mcp is listed in the MCP Registry by @ivbeg in #24
Expand cookbook to fifteen p...
Retry MCP Registry publish until PyPI indexes the release by @ivbeg in #23
Document that iterable-mcp is listed in the MCP Registry by @ivbeg in #24
Expand cookbook to fifteen p...
👍5✍2🔥1
Что-то накопилось много разных мыслей вслух, чувствую потребность сохранить их на будущее:
1. Сейчас когда смотришь на любой новый продукт которым пользуешься сам или компания или команда в компании, всегда почти первая реакция это проверка его стоимости к стоимости сделать его аналог инхаус. Если оказывается что с помощью ИИ агентов сделать стоит столько же или меньше, то возникает резонный вопрос, зачем покупать лицензию или подписываться? Я, конечно же, далеко не единственный человек с подобной логикой в последнее время. Вся простая разработка уходит в инхаус везде где только это возможно и для рынка корпоративного ПО. Оно и так очевидно было что все к этому идет, но есть ощущение что какой-то рубеж уже преодолен, а перестроить бизнес процесс ИТ вендоры быстро не смогут. Долгосрочно и для пользователя это тренд скорее хороший потому что за последние годы в софте накопилось очень много неприятных практик, от размещения разного рода Adware, то перевода на лицензионно-подписочную модель там где сервиса нет и даже обновления ПО нет, просто "плати нам каждый год за то что когда то было сделано". Если для тяжелых продуктов это еще более-менее терпимо, то вся эта пакость в микроприложения откровенно раздражала.
2. Агентская экономика и обычная пользовательская отличаются столь существенно что хочется почитать об этом что-то близкое к книге или длинному чтению, но все меняется слишком быстро чтобы это было так вот, вжух и все понятно. Если я правильно понимаю то она основана на двух подходах:
- мы помогаем экономить токены. Это ответ на вопрос, а разве ИИ агенты могут делать это и без вашего сервиса? Могут, но дольше и дороже и менее эффективно.
- мы расширяем доступные агенту возможности. Например, доступ к каким-то сервисам или данным которых более нигде нет или существующие открытые аналоги хуже. Пример, Censys с базой мониторинга инфраструктуры интернета как пример. Аналоги не дотягивают по истории, полноте и охвату, хотя и стараются.
А если описывать это чуть более строго, то агентсткие бизнес модели основаны на принципе
3. ИИ бум породил большую волну low-effort проектов где их инициаторы пытаются, либо забить поисковую выдачу переупакованным контентом, либо сделать сервис под недорогую подписку. Проблема этих проектов в том что они основаны на пороге входа столь низком, что не несут никакой дополнительной ценности. Существенная их часть - это довольно глупые клоны существующих SaaS сервисов и софтверных продуктов. То что раньше делалось через найм недорогой команды разработчиков в развивающейся стране и клонированием продукта, теперь еще быстрее и еще дешевле делается с помощью ИИ агентов. Есть ощущение что такие проекты массово создаются не теми кто думает о бизнесе, а теми кто начитался книг про быстрое обогащение малыми усилиями. Но быстрого обогащения тут не будет явно, а информационного шума они создают много.
#thoughts
1. Сейчас когда смотришь на любой новый продукт которым пользуешься сам или компания или команда в компании, всегда почти первая реакция это проверка его стоимости к стоимости сделать его аналог инхаус. Если оказывается что с помощью ИИ агентов сделать стоит столько же или меньше, то возникает резонный вопрос, зачем покупать лицензию или подписываться? Я, конечно же, далеко не единственный человек с подобной логикой в последнее время. Вся простая разработка уходит в инхаус везде где только это возможно и для рынка корпоративного ПО. Оно и так очевидно было что все к этому идет, но есть ощущение что какой-то рубеж уже преодолен, а перестроить бизнес процесс ИТ вендоры быстро не смогут. Долгосрочно и для пользователя это тренд скорее хороший потому что за последние годы в софте накопилось очень много неприятных практик, от размещения разного рода Adware, то перевода на лицензионно-подписочную модель там где сервиса нет и даже обновления ПО нет, просто "плати нам каждый год за то что когда то было сделано". Если для тяжелых продуктов это еще более-менее терпимо, то вся эта пакость в микроприложения откровенно раздражала.
2. Агентская экономика и обычная пользовательская отличаются столь существенно что хочется почитать об этом что-то близкое к книге или длинному чтению, но все меняется слишком быстро чтобы это было так вот, вжух и все понятно. Если я правильно понимаю то она основана на двух подходах:
- мы помогаем экономить токены. Это ответ на вопрос, а разве ИИ агенты могут делать это и без вашего сервиса? Могут, но дольше и дороже и менее эффективно.
- мы расширяем доступные агенту возможности. Например, доступ к каким-то сервисам или данным которых более нигде нет или существующие открытые аналоги хуже. Пример, Censys с базой мониторинга инфраструктуры интернета как пример. Аналоги не дотягивают по истории, полноте и охвату, хотя и стараются.
А если описывать это чуть более строго, то агентсткие бизнес модели основаны на принципе
"Агент может сделать это самостоятельно, но наш сервис снижает полную стоимость получения проверенного результата нужного качества".
3. ИИ бум породил большую волну low-effort проектов где их инициаторы пытаются, либо забить поисковую выдачу переупакованным контентом, либо сделать сервис под недорогую подписку. Проблема этих проектов в том что они основаны на пороге входа столь низком, что не несут никакой дополнительной ценности. Существенная их часть - это довольно глупые клоны существующих SaaS сервисов и софтверных продуктов. То что раньше делалось через найм недорогой команды разработчиков в развивающейся стране и клонированием продукта, теперь еще быстрее и еще дешевле делается с помощью ИИ агентов. Есть ощущение что такие проекты массово создаются не теми кто думает о бизнесе, а теми кто начитался книг про быстрое обогащение малыми усилиями. Но быстрого обогащения тут не будет явно, а информационного шума они создают много.
#thoughts
💯11✍8👍2⚡1
Ещё одна мысль вслух, про официальные данные.
Это очень большое заблуждение что официальные данные = хорошие данные. Они такими становятся только в том случае если при их создании и актуализации есть продуманные метрики качества и мониторинг этого качества на всех этапах. Иначе, скажу мягко, даже реестры и банки данных которые можно было бы назвать эталонными содержат весьма грубые ошибки. Я не могу привести в пример то что у меня сейчас в работе, лишь скажу что даже простое кросс-сопоставление некоторого числа смежных официальных реестров часто выявляет ошибки которые могут иметь весьма неприятные последствия при принятии решений.
В некоторых реестрах такие механизмы контроля качества применяются, например, в реестрах юридических лиц, но, в целом, ошибки повсеместны. Поэтому официальность не равна качеству, она является лишь некоторым предположением качества и переносом ответственности на официальный орган власти/организацию, когда всегда можно говорить "это же официальные данные, даже когда они неправильные, они остаются официальными".
Другая особенность в том что в официальных реестрах изменения проходят по регламентам, часто предусматривающих участие инициатора создания реестровой записи в её исправлении и нельзя вот так просто взять и поправить ошибку,
Поэтому эталонность эталонностью, но даже реестровые данные необходимо рассматривать как первичные и на них строить второй уровень аналитического/очищенного слоя данных и отслеживания выбросов, исключений и панелей контроля качества данных.
#thoughts #data
Это очень большое заблуждение что официальные данные = хорошие данные. Они такими становятся только в том случае если при их создании и актуализации есть продуманные метрики качества и мониторинг этого качества на всех этапах. Иначе, скажу мягко, даже реестры и банки данных которые можно было бы назвать эталонными содержат весьма грубые ошибки. Я не могу привести в пример то что у меня сейчас в работе, лишь скажу что даже простое кросс-сопоставление некоторого числа смежных официальных реестров часто выявляет ошибки которые могут иметь весьма неприятные последствия при принятии решений.
В некоторых реестрах такие механизмы контроля качества применяются, например, в реестрах юридических лиц, но, в целом, ошибки повсеместны. Поэтому официальность не равна качеству, она является лишь некоторым предположением качества и переносом ответственности на официальный орган власти/организацию, когда всегда можно говорить "это же официальные данные, даже когда они неправильные, они остаются официальными".
Другая особенность в том что в официальных реестрах изменения проходят по регламентам, часто предусматривающих участие инициатора создания реестровой записи в её исправлении и нельзя вот так просто взять и поправить ошибку,
Поэтому эталонность эталонностью, но даже реестровые данные необходимо рассматривать как первичные и на них строить второй уровень аналитического/очищенного слоя данных и отслеживания выбросов, исключений и панелей контроля качества данных.
#thoughts #data
👍16💯7✍4
Ещё мысли вслух, про цифровую архивацию, ИИ и ИТ:
1. Все то что говорят про цензуру российской/русской культуры в той же Европе мало сопоставимо с самоцензурой. К примеру, российский Госкаталог музейного фонда не открывается в принципе с зарубежных IP адресов, а сайт НЭБа (Национальной электронной библиотеки), либо выдает предупреждение что не надо использовать VPN, или тоже не открывается. Ни один из них не существует на языке отличном от русского языка и нет информации о фактическом правовом статусе объектов. В Госкаталоге совсем ничего нет про условия использования, а в НЭБе все что есть - это запрет на автоматизированную выгрузку самих материалов. По сравнению с европейскими национальными проектами по культурному наследию тут большой контраст, там почти всегда есть информация по лицензиям и документированное API или данные для массовой выгрузки.
2. То есть, к примеру, если я захочу собрать сайт по армянскому культурному наследию или по еврейскому культурному наследию или по Первой мировой войне или по любой другой теме , то материалы из Europeana (общеевропейский проект по цифровой архивации) или Finna (финский национальны проект цифрового архива) или Trove (австралийский национальный проект и поисковик по цифровым архивам) и еще по многим другим, то я могу это делать юридически чисто на основе контента из этих источников, а российские все в "серой зоне" и недоступны не из России. Понятно что есть немало развивающихся стран где ситуация куда хуже, но в развитых странах куда лучше.
3. Если вдуматься что применение ИИ в разработке практически полностью перестраивает все что касается оценки проектов в человеко-часах. Мифический человеко-месяц становится еще более мифическим, а у фаундеров компаний возникает соблазн делать продукты/проекты втрое-вчетверо меньшей командой. Потому что вопросы вроде такого "чем заняты все эти люди?" становятся куда актуальнее с понимаем что то что команда не использующая ИИ делает за месяц, то же самое ты можешь самостоятельно за 2-3 дня. Если на каких-то этапах ведения продуктов и проектов это еще может оказаться незаметным из-за инерционности управления, то все гораздо острее на разного рода бифуркационных точках. Привлечения инвестиций, запуска нового проекта, запуска нового продукта или новой версии имеющегося продукта, смена подрядчика и так далее. Клиент который у Вас может быть годами, "внезапно" может подсчитать во сколько обойдется заменить Вашу команду на 2-3 раза меньшую использующую ИИ агентов и обязательно заменит. Причем на уровне руководителей ИТ компаний и фаундеров ощущения этого очень острые, а внутри ИТ коллективов, есть ощущение, что подгорает недостаточно.
4. Что характерно для архивации цифрового контета ИИ агенты пока не используются, главным образом по причине отсутствия больших денег на этом рынке. Вернее даже отсутствия рынка как такового, но самое очевидное применение в возрождении экосистемы инструментов архивации и в том чтобы применять ИИ агенты для оптимизации сценариев архивации материалов. Но проблема выпадения огромного числа ресурсов из веб архивов никуда не денется, желающих не откдавать контент на обучение ИИ все больше.
#digitialpreservation #webarchives
1. Все то что говорят про цензуру российской/русской культуры в той же Европе мало сопоставимо с самоцензурой. К примеру, российский Госкаталог музейного фонда не открывается в принципе с зарубежных IP адресов, а сайт НЭБа (Национальной электронной библиотеки), либо выдает предупреждение что не надо использовать VPN, или тоже не открывается. Ни один из них не существует на языке отличном от русского языка и нет информации о фактическом правовом статусе объектов. В Госкаталоге совсем ничего нет про условия использования, а в НЭБе все что есть - это запрет на автоматизированную выгрузку самих материалов. По сравнению с европейскими национальными проектами по культурному наследию тут большой контраст, там почти всегда есть информация по лицензиям и документированное API или данные для массовой выгрузки.
2. То есть, к примеру, если я захочу собрать сайт по армянскому культурному наследию или по еврейскому культурному наследию или по Первой мировой войне или по любой другой теме , то материалы из Europeana (общеевропейский проект по цифровой архивации) или Finna (финский национальны проект цифрового архива) или Trove (австралийский национальный проект и поисковик по цифровым архивам) и еще по многим другим, то я могу это делать юридически чисто на основе контента из этих источников, а российские все в "серой зоне" и недоступны не из России. Понятно что есть немало развивающихся стран где ситуация куда хуже, но в развитых странах куда лучше.
3. Если вдуматься что применение ИИ в разработке практически полностью перестраивает все что касается оценки проектов в человеко-часах. Мифический человеко-месяц становится еще более мифическим, а у фаундеров компаний возникает соблазн делать продукты/проекты втрое-вчетверо меньшей командой. Потому что вопросы вроде такого "чем заняты все эти люди?" становятся куда актуальнее с понимаем что то что команда не использующая ИИ делает за месяц, то же самое ты можешь самостоятельно за 2-3 дня. Если на каких-то этапах ведения продуктов и проектов это еще может оказаться незаметным из-за инерционности управления, то все гораздо острее на разного рода бифуркационных точках. Привлечения инвестиций, запуска нового проекта, запуска нового продукта или новой версии имеющегося продукта, смена подрядчика и так далее. Клиент который у Вас может быть годами, "внезапно" может подсчитать во сколько обойдется заменить Вашу команду на 2-3 раза меньшую использующую ИИ агентов и обязательно заменит. Причем на уровне руководителей ИТ компаний и фаундеров ощущения этого очень острые, а внутри ИТ коллективов, есть ощущение, что подгорает недостаточно.
4. Что характерно для архивации цифрового контета ИИ агенты пока не используются, главным образом по причине отсутствия больших денег на этом рынке. Вернее даже отсутствия рынка как такового, но самое очевидное применение в возрождении экосистемы инструментов архивации и в том чтобы применять ИИ агенты для оптимизации сценариев архивации материалов. Но проблема выпадения огромного числа ресурсов из веб архивов никуда не денется, желающих не откдавать контент на обучение ИИ все больше.
#digitialpreservation #webarchives
❤7😢6✍5👍4💯1
Forwarded from Open Data Armenia
На портал открытых данных Open Data Armenia загружено 825 наборов данных показателей официальной статистики Армстата из официального банка статистических данных.
По каждому показателю доступны данные в форматах: CSV, XLSX и JSON-stat 2. А также доступно описание структуры данных.
Сейчас данные добавлены с описаниями на английском языке, если нужны описания и на других языках: армянском, русском и др. напишите нам об этом.
Открытый код парсера также доступен под лицензией MIT.
P.S. Если есть какие-либо значимые данные полезные сообществу которые еще не размещены на портале данных Open Data Armenia, напишите нам об этом и мы готовы их добавить при первой возможности.
#statistics #armstat #datasets
По каждому показателю доступны данные в форматах: CSV, XLSX и JSON-stat 2. А также доступно описание структуры данных.
Сейчас данные добавлены с описаниями на английском языке, если нужны описания и на других языках: армянском, русском и др. напишите нам об этом.
Открытый код парсера также доступен под лицензией MIT.
P.S. Если есть какие-либо значимые данные полезные сообществу которые еще не размещены на портале данных Open Data Armenia, напишите нам об этом и мы готовы их добавить при первой возможности.
#statistics #armstat #datasets
✍3❤2🔥2
Почему я снова пишу про цифровую архивацию, так это потому что военные действия не только между РФ и Украиной, но и вокруг Ирана и не только активно перешли на сетевую инфраструктуру. Как через уничтожение дата-центров, так и усиление кибератак и того что хакеры явно применяют ИИ агенты для автоматизации своей работы. Тут доступ к фронтирным моделям со снятыми ограничениями может играть большую роль.
Из последнего: разрушение датацентров Яндекса, взлом и недоступность сайтов Росстата, взлом провайдера Beget и разрушение многих датацентров на территории Украины, а также прошлые атаки Ирана на датацентр AWS в регионе и слухи что в любой момент конфликт Израиль/США/Иран может продолжится и весь регион снова будет под угрозой атак, в том числе по датацентрам.
Я даже не знаю что из этого обозначить как нечто наиболее критичное, оно все вместе и в частности про уничтожение цифровых материалов массовым образом.
Что-то, при этом, можно восстанавливать, например, мы архивировали Росстат неоднократно, а украинские сайты куда меньше выпадали из Common Crawl и Интернет архива. Возможно что многие российские частные (негосударственные) сайты тоже, но это неточно, поскольку российские сайты куда чаще находятся за геоблокировками.
К чему это я. Не забывайте делать резервные копии. Всего.
#digitalpreservation #webarchives
Из последнего: разрушение датацентров Яндекса, взлом и недоступность сайтов Росстата, взлом провайдера Beget и разрушение многих датацентров на территории Украины, а также прошлые атаки Ирана на датацентр AWS в регионе и слухи что в любой момент конфликт Израиль/США/Иран может продолжится и весь регион снова будет под угрозой атак, в том числе по датацентрам.
Я даже не знаю что из этого обозначить как нечто наиболее критичное, оно все вместе и в частности про уничтожение цифровых материалов массовым образом.
Что-то, при этом, можно восстанавливать, например, мы архивировали Росстат неоднократно, а украинские сайты куда меньше выпадали из Common Crawl и Интернет архива. Возможно что многие российские частные (негосударственные) сайты тоже, но это неточно, поскольку российские сайты куда чаще находятся за геоблокировками.
К чему это я. Не забывайте делать резервные копии. Всего.
#digitalpreservation #webarchives
❤11🔥7💯5👍1
America on Data Centers интерактивная визуализация которую можно назвать data story по результатам анализа 10 202 общественных комментариев в 417 местных сообществах США за 2026 год.
Интересна, и визуализация, и результаты.
В визуализации много интерактивных графиков, причем те что показывают комментари на карте по клику открывают видео с конкретными выступлениями где произносят слова которые далее расшифрованы в выводах.
А в части выводов можно сказать многое, но главное в том что почти все дата центры ненавидят. Кроме, почему-то, работников профсоюзов. Основные акценты идут на проблемы из-за использования воды, далее нагрузки на электрические сети, шум, загрязнение воздуха и еще многое другое, включая недоверие компаниям и непрозрачность решений. Плюс редкое единодушие среди людей разных партий, вне зависимости от партийного уклона почти все сообщества формируют схожее отношение к дата центрам.
#ai #usa #datacenters
Интересна, и визуализация, и результаты.
В визуализации много интерактивных графиков, причем те что показывают комментари на карте по клику открывают видео с конкретными выступлениями где произносят слова которые далее расшифрованы в выводах.
А в части выводов можно сказать многое, но главное в том что почти все дата центры ненавидят. Кроме, почему-то, работников профсоюзов. Основные акценты идут на проблемы из-за использования воды, далее нагрузки на электрические сети, шум, загрязнение воздуха и еще многое другое, включая недоверие компаниям и непрозрачность решений. Плюс редкое единодушие среди людей разных партий, вне зависимости от партийного уклона почти все сообщества формируют схожее отношение к дата центрам.
#ai #usa #datacenters
❤5🔥4👍3✍2🤣1
Мой маленький-большой пэт проект - это открытые связанные инструменты qddate и newsworker.
qddate - это Python библиотека для ускоренного парсинга и идентификации шаблона дат, заточенная под парсинг миллионов строк в очень быстром режиме. Для Python'а есть библиотеки вроде dateparser и dateutil охватывающие большее число языков, но qddate существенно быстрее и в новом релизе 1.1.0 она была еще сильнее оптимизирована и дает ускорение примерно в 1.5 раза по сравнению с предыдущей версией. На некоторых видах текстов/дат ускорение еще больше.
newsworker - это инструмент командной строки и библиотека для Python для извлечения новостей из HTML страниц и превращения их в данные с экспортом в RSS, ATOM, Markdown, JSON и так далее. Чтобы было понятнее - это не парсер RSS лент, эта штука находит новостные блоки на веб странице, идентифицирует в них даты, заголовки, текст, изображения, ссылки и так далее и извлекает их умным образом так чтобы туда не попадали мусорные блоки и были сгруппированы кластеры новостей. Делалось оно для сбора новостей с сайтов не экспортирующих RSS, превратилось в нечто большее умеющее сохранять спеки, кэшировать, запускать локальный сервер и MCP сервис. Новая версия 1.5.0 также подверглась сильной оптимизации и сейчас дает ускорение, на некоторых страницах, в 20-40 раз (0.39 секунды вместо 15.9 секунд при начальном анализе) и 0.22 секунды вместо 4.7 секунд при работе по спецификации.
Мне все больше нравится то что получается на выходе, даже при том что я не могу найти этому коммерческое применение, лично полезного тут много. А qddate я еще использую активно в инструментах вроде metacrafter по смысловой разметке и документированию наборов данных.
#opendata #opensource #petprojects
qddate - это Python библиотека для ускоренного парсинга и идентификации шаблона дат, заточенная под парсинг миллионов строк в очень быстром режиме. Для Python'а есть библиотеки вроде dateparser и dateutil охватывающие большее число языков, но qddate существенно быстрее и в новом релизе 1.1.0 она была еще сильнее оптимизирована и дает ускорение примерно в 1.5 раза по сравнению с предыдущей версией. На некоторых видах текстов/дат ускорение еще больше.
newsworker - это инструмент командной строки и библиотека для Python для извлечения новостей из HTML страниц и превращения их в данные с экспортом в RSS, ATOM, Markdown, JSON и так далее. Чтобы было понятнее - это не парсер RSS лент, эта штука находит новостные блоки на веб странице, идентифицирует в них даты, заголовки, текст, изображения, ссылки и так далее и извлекает их умным образом так чтобы туда не попадали мусорные блоки и были сгруппированы кластеры новостей. Делалось оно для сбора новостей с сайтов не экспортирующих RSS, превратилось в нечто большее умеющее сохранять спеки, кэшировать, запускать локальный сервер и MCP сервис. Новая версия 1.5.0 также подверглась сильной оптимизации и сейчас дает ускорение, на некоторых страницах, в 20-40 раз (0.39 секунды вместо 15.9 секунд при начальном анализе) и 0.22 секунды вместо 4.7 секунд при работе по спецификации.
Мне все больше нравится то что получается на выходе, даже при том что я не могу найти этому коммерческое применение, лично полезного тут много. А qddate я еще использую активно в инструментах вроде metacrafter по смысловой разметке и документированию наборов данных.
#opendata #opensource #petprojects
GitHub
GitHub - ivbeg/qddate: Quick and dirty date parsing Python library to parse HTML dates really fast
Quick and dirty date parsing Python library to parse HTML dates really fast - ivbeg/qddate
👍11🔥6✍2
Forwarded from Open Data Armenia
Для тех кто работает с геоданными и интересуется географией Армении мы открываем сервис Open Data Armenia Atlas https://maps.opendata.am/
Это геопортал на базе открытого кода TerriaJS и позволяющий не только подключать разные картографические слои, но и объединять их, настраивать уровень прозрачности и даже подключать собственные данные для визуализации.
Сейчас мы подключили геоданные на нашем портале открытых данных data.opendata.am и несколько открытых геопорталов (GBIF, Sustainable Caucasus, GIS Yerevan, Human Development Exchange и другие). Некоторые из них могут быть иногда выключены, тогда эти данные могут быть недоступны, но большая часть доступны и мы будем дублировать данные на data.opendata.am при необходимости.
Также важно упомянуть:
1. Интерфейс сайта на английском, армянском и русском языках. Если Вы найдете ошибки в переводе напишите нам.
2. Свои данные можно загружать на сайт, но они не грузятся на сервер и обрабатываются в браузере.
3. Геопортал ориентирован на настольные компьютеры и ноутбуки и может отображаться медленнее и хуже на телефонах.
Пишите нам при любых найденных ошибках и если Вы знаете какие-то интересные геоданные которые пока отсутствуют на data.opendata.am и на геопортале. Мы обязательно их добавим.
Писать можно нам на opendata@opendata.am и в Github в issues к открытому коду этого проекта https://github.com/opendataam/armterriamap/issues
#opendata #geodata #geoportals #armenia
Это геопортал на базе открытого кода TerriaJS и позволяющий не только подключать разные картографические слои, но и объединять их, настраивать уровень прозрачности и даже подключать собственные данные для визуализации.
Сейчас мы подключили геоданные на нашем портале открытых данных data.opendata.am и несколько открытых геопорталов (GBIF, Sustainable Caucasus, GIS Yerevan, Human Development Exchange и другие). Некоторые из них могут быть иногда выключены, тогда эти данные могут быть недоступны, но большая часть доступны и мы будем дублировать данные на data.opendata.am при необходимости.
Также важно упомянуть:
1. Интерфейс сайта на английском, армянском и русском языках. Если Вы найдете ошибки в переводе напишите нам.
2. Свои данные можно загружать на сайт, но они не грузятся на сервер и обрабатываются в браузере.
3. Геопортал ориентирован на настольные компьютеры и ноутбуки и может отображаться медленнее и хуже на телефонах.
Пишите нам при любых найденных ошибках и если Вы знаете какие-то интересные геоданные которые пока отсутствуют на data.opendata.am и на геопортале. Мы обязательно их добавим.
Писать можно нам на opendata@opendata.am и в Github в issues к открытому коду этого проекта https://github.com/opendataam/armterriamap/issues
#opendata #geodata #geoportals #armenia
🔥14❤4✍3👍3
По слухам российский портал открытых данных Москвы data.mos.ru скоро закроется с переносом датасетов оттуда на общий домен города www.mos.ru. Так что он у нас в планах на архивацию уже подвергся архивации. Там если брать последние версии наборов данных то всего 7.7GB данных, а если брать вообще все версии за все время то 70+GB. Есть ли смысл выкачивать все версии я не знаю, а последние версии сохранены и будут куда-то выложены в открытый доступ.
P.S. Когда-то именно Пр-во Москвы были первыми кто портал открытых данных создавали и он у них был и остается лучше федерального. Но,видимо, если опровержений не будет то прошла эпоха
#opendata #datasets #datacatalogs #closeddata #russia #moscow
P.S. Когда-то именно Пр-во Москвы были первыми кто портал открытых данных создавали и он у них был и остается лучше федерального. Но,видимо, если опровержений не будет то прошла эпоха
#opendata #datasets #datacatalogs #closeddata #russia #moscow
😢18✍4🕊2💯2😐2