Ivan Begtin
8.07K subscribers
1.49K photos
3 videos
99 files
4.23K links
I write about Open Data, Data Engineering, Government, Privacy and Data Preservation and other gov and tech stuff
Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Secure contacts ivan@begtin.tech

Contact @NMBabina for ads proposals
Download Telegram
Правительство Австралии направляет специальных агентов по рекрутингу талантливых специалистов в страны/регионы где их можно рекрутировать [1]. Конечное цель - нанять 5000 лучших специалистов.

На фоне обсуждений в Германии по введению безвиза для российской молодёжи [2] это всё повод задуматься с кем и чем мы останемся через несколько лет.

Улучшение бизнес климата, инвест климата и, самое главное, качества жизни - это вопросы глобальной конкуренции стран. Чем менее комфортна будет Россия, тем легче специалисты будут покидать страну, тем более что в других странах всё больше условий для подобного.

А вот можно ли в России запустить аналогичную программу и начать привлекать специалистов со всего мира? Есть ли у нас то чем можно привлечь тех же 5000 талантливых специалистов? Что уникального в нашей любимой родине, помимо вызовов и проверки на прочность, что может привлечь тех кто действительно что-то добился в своей профессии?

Ссылки:
[1] https://www.sbs.com.au/language/russian/ty-nuzhen-avstralii-rekrutery-otpravlyayutsya-za-granicu-dlya-poiska-5-000
[2] https://habr.com/ru/news/t/460585/

#people #australia #germany #talents
ASPI, австралийский мозговой центр выпустивший ранее исследование Mapping China technology giants выпустили обновлённое
исследование [1] в которое добавили множество новых данных и теперь покрывают 23 китайские технологические компании.

Были добавлены такие компании как:
- BeiDou
- ByteDance
- CloudWalk
- Dahua
- DJI
- iFlytek
- Megvii
- Meiya Pico
- Sense Time
- Uniview
- YITU

В исследовании немало интересного, например, о компании ByteDance которые являются создателями приложения TikTok и о CloudWalk и колониализме данных (data colonialism) когда все данные распознавания людей по походе в Зимбабве передаются и хранятся в Китае.

Этот отчёт стоит внимания, его можно прочитать в виде PDF по ссылке [2].

Ссылки:
[1] https://www.aspi.org.au/report/mapping-more-chinas-tech-giants
[2] https://s3-ap-southeast-2.amazonaws.com/ad-aspi/2019-11/Mapping%20more%20of%20Chinas%20tech%20giants_1.pdf?cONTm6ETA8RMzlcILgDFNdoHdMN6xGZf

#china #datacolonialism #aspi #australia #surveillance
Для тех кто хочет отслеживать реальную ситуацию с пожарами в Австралии, как минимум в штате Новый Южный Уэлльс есть сервис мониторинга всех пожаров Fires Near Me [1]
Аналогичные сервисы есть в штате Виктория [2] (охватывает не только пожары) и сервис MyFireWatch [3] от властей штата Западная Австралия, и вновь более локальный в штате Тасмания [4]

Но, конечно, есть и негосударственные сервисы мониторинга, таких как карта пожаров на карте Google [5] и волонтерский проект от Unorthodox Engineers [6]

И, конечно, карта пожаров NASA по всему миру [7]

Между тем остаётся вопрос о том что до июля 2020 года осталось всего 6 месяцев, а готовится ли кто-либо у нас к ним? СМИ что отражать в реальном времени, пожарные чтобы предупредить, граждане чтобы пережить? В 2019 году пожары были именно что в июле, а год, похоже, будет если не горячим, то тёплым.

Ссылки:
[1] https://www.rfs.nsw.gov.au/fire-information/fires-near-me
[2] http://emergency.vic.gov.au/respond/
[3] https://myfirewatch.landgate.wa.gov.au/
[4] http://www.fire.tas.gov.au/
[5] https://google.org/crisismap/australia
[6] https://www.unorthodox.com.au/
[7] https://firms.modaps.eosdis.nasa.gov/map/#z:5;c:133.5,-25.6;d:2020-01-07..2020-01-08

#fires #australia #russia
TERN [1], австралийский государственный проект создан для формирования инфраструктуры данных наблюдения о земле. Австралия 6-я в мире по размеру страна, с общей площадью в 7 692 024 квадратных километров и для правительства Австралии большую роль играет мониторинг состояния земель, в том числе и отслеживание пожаров, оползней, наводнений и восстановление экосистемы.

Основные результаты
-
Открытый каталог данных об исследования о земле TERN Data [2]
- Инструмент упрощения сбора метаданных SHARed [3]
- Виртуальные исследовательские десктопы CoESRA [4], дают возможность исследователям сразу работать с необходимым комплектом инструментов: OpenRefine, LibreOffice, RStudio, Kepler, Canopy, QGis, Biodiverse, Panoply, Knime
- Облачный сервис для работы с большими эко-данными Ecocloud [5]

Текущие показатели
- 700 точек сбора данных
- 2500 наборов данных
- 50 национальных и международных партнеров
- 90 лет продолжительность мониторинга по некоторым данным
- 1600 научных публикаций на данных TERN

Управление
TERN - это проект по созданию научной инфраструктуры осуществляемый Университетом Квинсленда по гранту от CSIRO и в партнёрстве с Университетом Джеймса Кука и Университетом Аделаиды, являющихся операционными партнёрами и формирующие управляющий совет инициативы.

Финансирование
За 2017-2019 годы на проект было потрачено $12,545,078 австралийских долларов (примерно 602 миллиона рублей) [6] из программы National Collaborative Research Infrastructure Strategy (NCRIS). [7]

Итого
Проект TERN - это часть обще-австралийской инициативы по кооперации в научной сфере. Его главными особенностями можно выделить:
- акцент на открытости данных и качестве их описания (включая разработку стандартов метаданных)
- акцент на результатах на основе данных, в виде научных публикаций
- кооперативное управление через группу университетов с одним университетом лидером и университетами партнёрами
- создание облачной и виртуальной инфраструктуры для работы исследователей

Ссылки:
[1] https://www.tern.org.au
[2] https://portal.tern.org.au
[3] https://shared.tern.org.au/
[4] https://www.tern.org.au/coesra/
[5] https://ecocloud.org.au/
[6] https://docs.education.gov.au/system/files/doc/other/ncris_projects_2017_funding_allocations.pdf
[7] https://www.education.gov.au/national-collaborative-research-infrastructure-strategy-ncris

#opendata #research #australia #openaccess
Департамент здравоохранения Австралии выложил исходный код мобильных приложений для iPhone и для Android [1] на платформе Github. Кроме того в правилах использования приложения явно указано что все данные будут удалены после пандемии [2], а сам департамент выпустил акт о биобезопасности защищающий права граждан на приватность на период пандемии и после нее [3]. Также подготовлен законопроект особым образом защищающий приватность в этом мобильном приложении на время пандемии [4].

Ссылки:
[1] https://github.com/AU-COVIDSafe
[2] https://www.health.gov.au/resources/apps-and-tools/covidsafe-app#after-the-pandemic
[3] https://www.legislation.gov.au/Details/F2020L00480
[4] https://www.ag.gov.au/RightsAndProtections/Privacy/Pages/COVIDSafelegislation.aspx

#privacy #australia #opensource
Одна из ключевых "особенностей" российского государственного ИТ рынка - это непонимание законодателей и регуляторов как он устроен, со всеми посредниками, перепродавцами, "добавителями" добавленной стоимости и так далее.

Я приведу в пример организацию ИТ закупок в Австралии и Новой Зеландии.

В Австралии существует такой способ государственных закупок как Whole-of-Government Arrangements (Всегосударственные соглашения) [1], их аналог в Новой Зеландии - это All-of-Government Contracts (Всегосударственные контракты) [2].

Их смысл в том что, либо правительство, либо уполномоченный орган власти заключает рамочное соглашение с одним или несколькими поставщиками и к этому соглашению *присоединяются* госзаказчики. Как правило эти соглашения, либо содержат заранее согласованные цены, либо формулы цен в зависимости от продукции.

Например, соглашение Агентства цифровой трансформации Австралии (DTA) с компанией IBM [3] было заключено в 2018 году и продолжит действовать до 2023 года. Соглашение устанавливает правила к которым может присоединиться любое государственное агентство.

Остальной текст не помещается в пост в канале и его можно прочитать у меня в блоге https://begtin.tech/aus-procurement/

#australia #ict #procurement
В Австралии офис Национального дата комиссионера (комиссара?) опубликовал The Foundational Four [1] документ рекомендаций для государственных агентств по работе с данными.

Это хороший верхнеуровневый документ покрывающие такие вопросы как:
- лидерство
- организация работы
- стратегия работы с данными
- инвентаризация и владение данными


Ссылки:
[1] https://www.datacommissioner.gov.au/resources/foundational-four

#data #australia
Ещё одна новость из Австралии и также из офиса Национального дата комиссионера (комиссара?).
На днях они опубликовали черновик для дискуссии документа регулирующего аккредитацию пользователей, сервисов и посредников в работе с чувствительными государственными данными.

Фактически основная идея в том чтобы привести на законодательном уровне к единым правилам все регламенты предоставления доступа к чувствительными данным (перс. данные, коммерческая тайна и тд.)

Основные тезисы:
- аккредитацию проводит Office of National Data Comissioner
- типы аккредитаций: Data Custodian, Accredited Data Service Provider, Accredited User
- аккредитацию должны проходить коммерческие сервисы которые хотят получить статус Accredited Data Service Provider и выполнять функции по: услугам обмена данными (Data Sharing Services) и комплексным услугам интеграции данных (Complex data integration services)
- организации проходящие аккредитацию могут быть любого размера, но должны продемонстрировать что "в должной мере" ими владеют австралийские граждане

Попробую привести гипотетический пример того как это может работать.
1. Предположим что налоговая служба Австралии будет готова делиться с банками с данными о налогоплательщиках в целях обеспечения процедур due diligence.
Им необходимо аккредитоваться как Data Custodian.
2. Некоторые data стартапы хотят добавить эти данные в их услуги скоринга - они должны аккредитоваться как Accredited Data Service Provider.
3. Ряд банков хочет воспользоваться сервисами этих стартапов и для этого им необходимо получать статус Accredited User.

Это довольно жёсткая форма аккредитации, с контролем на каждом этапе: владельца, посредников и конечных получателей. Для некоторых видов данных, таких как персональные данные, возможно других сценариев и быть не может, в принципе же это могло бы накладывать большие ограничения, но, на самом деле, это механизм по снятию ограничений с тех данных которые сейчас просто закрыты для любого использования.

Этот принцип уже применяется в австралийском статистическом ведомстве [2] для интеграционных проектов работающих с детальными статистическими данными.

Ссылки:
[1] https://www.datacommissioner.gov.au/exposure-draft/accreditation
[2] https://statistical-data-integration.govspace.gov.au/about-3/about-these-guidelines

#data #australia
Уже почти год Австралийская комиссия по делам конкуренции и потребителей ведет расследование платформ цифровой рекламы и 28 января опубликовали промежуточный отчет [1] с анализом устройства рынка рекламы, какие компании и в каком объёме на нём представлены, как реально устроены процессы размещения и управления рекламой на платформах, у потребителей, в системах подготовки рекламных кампаний и так далее. Это огромный содержательный и подробный отчет на 222 страницы с акцентом австралийский цифровой рынок, но актуально и для других стран, во многих случаях картина идентичная.

Это исследование закончится к августу 2021 года и можно ожидать нового регулирования AdTech индустрии не только в Австралии, но и в мире, поскольку законодатели по всему миру смотрят друг на друга и на то у кого же получится регулировать цифровые корпорации и каким образом.

Ссылки:
[1] https://www.accc.gov.au/system/files/Digital%20Advertising%20Services%20Inquiry%20-%20Interim%20report.pdf

#privacy #dmp #adtech #australia
Парламент Австралии принял в окончательной редакции закон регулирующий ссылки на новостные сайты [1] в ответ на который Google (Alphabet) грозился отключить поиск, а Facebook превентивно заблокировали возможность публиковать новости на австралийские новостные сайты.

В итоге обе компании договорились с Правительством Австралии о "значительной финансовой поддержке" индустрии медиа в Австралии и том что обе компании пошли по пути заключения соглашений с австралийским медиа-бизнесом. Переговоры с Facebook'ом при этом шли около 11 часов, как пишет, Bloomberg.

Но, с принятием закона, компании, компании "остаются на крючке". Если Правительство Австралии в какой-то момент сочтет что Google и Facebook недостаточно поддерживают местную новостную индустрию, то оно может применить положения закона против компаний.

Теперь можно ожидать в самое ближайшее время аналогичного регулирования в других странах.

Ссылки:
[1] https://www.bloomberg.com/news/articles/2021-02-24/australia-passes-law-forcing-facebook-google-to-pay-for-news

#adtech #tech #regulation #australia
В Австралии, при офисе комиссара по данным (National Data Commisioner) создается проект по Dataplace [1] для запросов на данные к органам власти и госструктурам. Обратите внимание что это не запросы на доступ к информации в классическом понимании (FOI), а именно data requests. Обещают сделать beta версию к концу 2021 года и релиз в 2022 году.

Там же анонсировали проект всегосударственного каталога данных [2] и пилотных проектов по инвентаризации данных. Обратите внимание - это общедоступный каталог всех данных, основная его идея в том что чтобы понять что должно быть открыто вначале необходимо понять, а что есть и метаданные, сведения о наборах данных и базах данных, должны быть общедоступны. Пока же с 2022 по 2024 годы в Австралии будут инвентаризировать данные небольшими командами в рамках этого пилотного проекта.


Ссылки:
[1] https://www.datacommissioner.gov.au/media-hub/creating-human-centric-government-data-request-process
[2] https://www.datacommissioner.gov.au/media-hub/new-pilot-program-deliver-government-wide-data-catalogue

#opendata #data #australia #datacatalogs
В Австралии офис уполномоченного комиссара по данным запустил два новых проекта.

Dataplace [1] - унифицированный сервис запросов данных у государства, как раз в соответствии с моделью Publish with the purpose, а то есть общественный или коммерческий интересант размещает запрос на данные и его получают и рассматривают все data custodians (хранители данных). Запросы рассматриваются на основании принципов обмена данными ранее разработанными в офисе уполномоченного [2]

Второй проект Data Inventories Pilot Program [3] сфокусирован на сборе метаданных о базах данных 20% органов власти в Австралии. По каждому набору данных собираются Core Metadata Attributes, специально сформированный перечень атрибутов для описания содержимого набора данных и его ключевых характеристик. Немного удивляет что они придумали собственную систему метаданных вместо DCAT2 [4], поскольку с DCAT/DCAT2 пересечения довольно заметные.

Ссылки:
[1] https://datacommissioner.gov.au/media-hub/dataplace-new-tool-promote-safe-and-effective-sharing-government-data
[2] https://www.datacommissioner.gov.au/data-legislation/assessing-data-requests
[3] https://datacommissioner.gov.au/media-hub/ondc-launches-pilot-project-australian-government-data-catalogue
[4] https://www.w3.org/TR/vocab-dcat-2/

#opendata #australia #datasharing #data
Пока в России обсуждают разные модели импортозамещения ПО, сервисов и так далее, во многих странах есть практика защиты национальных интересов вполне классическими методами сертификацией компаний. Например, в Австралии местное Digital Transformation Agency открыло сайт Hosting Certification Framework [1] как легко догадаться посвящённый сертификации облачных провайдеров, хостеров и датацентров для государственных нужд.

В целом очень простая и очевидная функция государства и, в данном случае, трансформационного органа власти.

Австралийская модель сертификации довольно простая и состоит из 3-х типов провайдеров:
- стратегические (strategic) - наибольший уровень доверия и защищённости
- подтверждённые (assured) - меньший уровень финансовой и инфраструктурной защиты
- несертифицированные (uncertified) - имеющие минимальную защиту, можно использовать только для незначимых данных

Все сертифицированные сейчас сервисы находятся на территории Австралии или имеют датацентры на территории Австралии. Среди них есть облачные провайдеры вроде Amazon и Microsoft, а также датацентры Fujitsu Australia и какое-то число исключительно местных компаний.

Сертификационная логика - самая понятна. В ней нет "надрыва" про импортозамещение, а достаточно четко формируемые требования к сервис провайдерам, корректируемые по мере необходимости. Аналогичная практика есть и в других странах, а Австралию я привожу только как пример такой практики.

Ссылки:
[1] https://www.hostingcertification.gov.au

#government #govtech #cerfitication #australia
Свежий доклад омбудсмена Нового Южного Уэльса (территория Австралии) посвящённый machine technologies [1] машинным технологиям. Это то что в другой литературе называют искусственным интеллектом (arificial intelligence) и системами автоматических решений (automated decision-making).

Доклад весьма подробный с акцентами на том что:
1) Проекты по внедрению таких систем - это не ИТ проекты.
2) В команде внедрения обязательны юристы
3) Подробная документация на работу системы необходима
4) Тестирование и проверка обязательно необходимы
5) Прозрачность (transparency) и объяснимость (explainability) необходимы
6) Контроль за работой системы и обязательные требования.

Документ подробный, охватывает много вопросов, включая роль законодательной власти в этом процессе. А также на сайте опубликован его короткий пересказ для тех кому сложно прочитать его целиком [2]

Ссылки:
[1] https://www.ombo.nsw.gov.au/__data/assets/pdf_file/0005/123629/The-new-machinery-of-government-special-report_Front-section.pdf
[2] https://www.ombo.nsw.gov.au/news-and-publications/news/greater-transparency-needed-for-nsw-governments-use-of-machine-technology-in-decision-making

#privacy #ai #adm #machinetechnologies #nsw #australia
Не стоит полагать что политическая открытость даже в развитых странах даётся легко. В Австралии есть фонд OpenAustralia [1] которые много лет создают и развивают проекты по прозрачности власти. Например, они создали проект They Vote For You [2] с трекингом голосов каждого члена палаты представителя и сенатора.

Один из сенаторов, Andrew Bragg, нанял юристов которые теперь пишут угрозы фонду (юридические угрозы, конечно), а через комиссию по делам НКО и вовсе пытаются его ликвидировать [3]. Причина очень проста, сенатору не нравится то в каких формулировках указываются факты его голосования [4] поскольку в проекте указаны самые разные категории вроде "Creating a federal Anti-Corruption Commission" или "Increasing funding for public schools" и там ещё много другого с формулировками чего сенатор оказался не согласен.

Конечно, это всё проблемы парламентской демократии. В России все подобные проекты исчезли примерно 10 лет назад. Отслеживать голосования депутатов было бессмысленно потому что типовое голосование выглядело так: партия власти, или голосует единогласно за, или единогласно не голосует.

Проектов по парламентской открытости в мире много, ко многим из них часто возникают вопросы их политической ангажированности, но в чём их создатели точно правы - в том что без открытости парламентов доверие к ним сильно ограничено.

Ссылки:
[1] https://www.oaf.org.au
[2] https://theyvoteforyou.org.au
[3] https://www.oaf.org.au/2022/03/14/senator-for-nsw-andrew-bragg-threatens-openaustralia-foundation-with-legal-action/
[4] https://theyvoteforyou.org.au/people/senate/nsw/andrew_bragg

#opengovernment #opengov #australia
Как устроены веб-архивы в мире?

Архив PANDORA [1] был создан при Национальной библиотеке Австралии в 1996 году для архивации сайтов органов власти, культурных учреждений и иных организаций и групп. Для создания архива был разработан программный продукт PANDAS [2].

Архив включает более 70 тысяч предметов хранения, на 26 июля 2020 года его объём составлял 54ТБ․

Стратегия работы этого веб-архива в фокусированной архивации в виде архивационных кампаний. Например, через регулярную архивацию сайтов государственных органов или через архивацию сайтов политиков в рамках избирательных кампаний.

Доступ к архивным сайтам предоставляется через систему Trove, каталог архивных и музейных ценностей Австралии также созданный и поддерживаемый Национальной библиотекой Австралии [3].

Ссылки:
[1] https://pandora.nla.gov.au
[2] https://pandora.nla.gov.au/pandas.html
[3] https://webarchive.nla.gov.au/collection

#webarchives #australia #digitalpreservation