Yahoo открыли для исследователей набор данных в 110 миллиардов новостей и объёмом в 13.5 TB в распакованном виде http://webscope.sandbox.yahoo.com/catalog.php?datatype=r&did=75

Главная сложность в том как выкачать эти данные.

В России только Яндекс в очень ограниченном объёме предоставлял данные для РОМИП и не автоматически, а после письма с запросом.

А тут 13.5 террабайт!

#opendata

26 января 2016 года во Франции парламент провел первый раунд дебатов по закону о Цифровой республике http://www.republique-numerique.fr/pages/in-english посвященному открытости что особенно важно так то что до дебатов закон проходит 6-месячное публичное обсуждение и собрал множество комментариев и поправок. #opendata #opengov

Вышло свежее международное соглашение научных учреждений "Open Data in a Big Data World". An international accord с точным определением термина "открытые данные" и принципы открытости научных исследований. Много примеров открытых репозиториев научных данных и международных инициатив. #opendata #openscience #opengov

а вот и сам документ с подробностями #opendata #openscience

О том как управлять научными данными и то как это делают в Гарварде в проекте Dataverse http://vpr.harvard.edu/pages/research-data-security-and-management, а также в презентации "OPEN DATA AND PROTECTION OF RESEARCH SUBJECTS" от 2013 года #opendata #openscience

Не все знают про то что существует не только много стандартов раскрытия информации в форматах открытых данных, но и стандартов организации процесса их сбора и взаимодействия. Самый известный в мире и неизвестный в России это стандарт IATI по раскрытию международной помощи, в основном развитыми странами в адрес развивающихся. А также есть стандарт раскрытия данных о лоббистах Lobbying Transparency. http://lobbyingtransparency.net/standards/ Почему его нет в России? Глобальный ответ в том что в России сжимается доля среднего класса который мог бы понять что это и зачем это нужно. Более точечный ответ в том что отсутствие закона о лоббизме помогает создаёт большой пласт "soft lobbyists" вокруг разного рода координационных структур при Правительстве и отдельных госорганов. И не только, конфликты интересов внутри государства в России учитываются и публикуются очень плохо. #opendata #opengov #transparency #standards

В мире сравнимые объёмы материалов по открытым данным и открытости правительств публикуется на английском и на испанском языках и куда меньше на всех остальных. На английском из-за основных лидеров - UK и USA, на испанском из-за большого числа проектов в Латинской Америке, Филлипинах и Испании.

И на многих других языках тоже, но сбор лучших практик затруднен тем что переводят с них очень редко. Например, на русский иногда переводят зарубежные практики, но с русского на английский разьве что сейчас на Украине будут делать вместе со вступлением в международные инициативы по открытости. Иначе говоря мы живем в замкнутой информационной экосистеме и это очень заметно по российским инициативам.

Ну а самое главное что во всём мире Open Government сейчас чётко ассоциируется с Open Government Partnership. И Россия чуть-ли не единственная страна в которой инициатива заявлена публична, но международным стандартам не соответствует.

#opendata #opengov

В мире, особенно за пределами России, накапливается всё больше данные по социальной структуре общества в первую очередь на основе личной и бытовой информации из социальных сетей, но, конечно, не только. Например, проект LGBT Data http://www.lgbtdata.com/ с данными по LGBT сообществу или проект Sexualitics про любовь к данным, порно данным http://sexualitics.org/ где собраны большие наборы данных с сайтов с порнографией и эротикой. Причем многие данные в этой области исследуются довольно давно, но не всегда публикуются в открытую. Вот ещё ресурсы на эту же тему порнографии и данных http://byuresearch.org/ssrp/data.html и вот визуализация https://martin-prillard.github.io/porn-dataviz/html/cluster.html в рамках похоже что студенческой работы. Из того о чем лично я говорил с исследователями - это проблема в авторском праве, порнография и эротика практически не публикуется под Creative Commons, а из-за "фрикономического" рынка в этой области - сложно договариваться с правообладателями. Однако тенденция к исследованиям в этой области есть и к публикации исследовательских данных тоже #opendata #openscience #datasets

Вот уже не первый год с коллегами мы обсуждаем что бы такого на открытых данных сделать чтобы без участия государства и одновременно чтобы всем запомнилось. Мысли бродят от православного хакатона до хакатона на данных порнографии. Мы даже когда то подавали заявку на грант одного из православных фондов на проект "Открытая церковь" с организации серии мероприятий и конкурса на открытых данных РПЦ, впрочем ожидаемо не выиграли.

Ну а на хакатон на данных по эротике и порнографии найти спонсоров, с одной стороны очень сложно, а с другой невероятно просто. Что интересно не мы одни в об этом думаем. Вот уже от пары человек слышал о том что и в России делали на базе данных социальных сетей исследования по самым "голубым" ВУЗам страны и по подписчикам на предпочтительные закрытые порно-группы в ВК.

#opendata

В Испании есть свой проект по открытости бюджетов муниципалитетов, не государственный и называется http://presupuestos.gobierto.es/ Presupuestos Municipales ("Бюджеты муниципалитетов") от ребят из Populate http://populate.tools/ . Они пытаются воспроизвести то же что делали британские активисты в OpenlyLocal и коммерческие OpenGov и Socrata в США. Но бизнес модель тут слабовата, больше похожа на демонстрацию возможностей и способностей команды. Я давно смотрю на то на чём зарабатывают команды занимающиеся Opengov+Opendata по всему миру и видно что моделей финансирования очень немного.

1. Коммерческая идея и изначально построение бизнеса на данных, например, разного рода транспортные приложения.
2. Социально-ориентированный бизнес вроде OpenGov, с какой-то большей идеей, например, обеспечения прозрачности и клиентами внутри государства и муниципалитетов.
3. Внутриевропейские или внутри США гранты на открытость.
4. Гранты и контракты на создание проектов для развивающихся стран по заказу институтов развития.

Судя по проектам Populate у них основной доход как раз на проектах для развивающихся стран. Также и OpenCorporates получает поддержку Всемирного Банка именно в таком акценте, а Open Knowledge Foundation так активно работает в Непале и других странах из-за привлечения грантов на работу именно там.


#opendata #opengov #publicfinances

В DC (District Columbia) выложили на обсуждение Open Data Policy https://drafts.dc.gov/docs/draft-open-data-policy интересно тут и само регулирование и площадка на которой его опубликовали. Это The Madison Project http://opengovfoundation.org/projects/madison-project/ проект с открытым кодом созданные в OpenGov Foundation на средства частных фондов. Власти DC не стали разрабатывать что-то своё, а просто взяли готовую платформу с открытым кодом. А в самом Open Data Policy много правильных положений, ключевое я считаю "Open by default" и факт такого публичного обсуждения. #opendata #opengov

свежий обзор 14 инновационных компаний в Великобритании использующих открытые данные http://www.techworld.com/picture-gallery/startups/12-innovative-uk-companies-using-open-data-3613884/ #opendata а я не устаю повторять что используют их многократно большее число бизнесов, но те кто на данных зарабатывают, они очень часто не хотят светить ни бизнес модели ни масштабы заработков.

мы создали Slack чат для всех кто работает с открытыми данными на русском языке. Если хотите присоединится - напишите мне в Telegram @ibegtin или на почту ibegtin@gmail.com а сам адрес канала тут https://opendatarussia.slack.com #opendata #opengov

ещё один Awesome List на Github'е. На сей раз по ресурсам по открытым данным на русском языке (не только в России) - https://github.com/infoculture/awesome-opendata-rus . Минимально государственные, максимально общественные #opendata #opengov

Свежий обзор деятельности государства по открытым данным в США. Что характерно, на сайте Белого дома Open Data: Empowering Americans to Make Data-Driven Decisions
https://www.whitehouse.gov/blog/2016/02/05/open-data-empowering-americans-make-data-driven-decisions #opendata #opengov

Вчера на совете по открытым данным "Раскрытие данных криминальной статистики выйдет на новый уровень" http://open.gov.ru/events/5514869/. Я в коей-то веки выбрался на совет, вместе с нашим объёмным, но кратким отчетом о реорганизации подходов к открытым данным #opendata #opengov

Статья в The Hastings Center Report "The Promise and Perils of Open Medical Data" о том как открытые медицинские данные могут улучшить здравоохранение. http://www.thehastingscenter.org/Publications/HCR/Detail.aspx?id=7731 там есть важный раздел про риски связанные с открытием данных, в частности то что они могут повлиять и на действия работодателей и на действия банков выдающих кредиты #opendata #openmedicine