В продолжение разговора про обновлённую стратегию развития статистики и Росстата в РФ, очень в тему публикация в блоге Всемирного банка о мотивации и компетенции сотрудников статистических служб.

Там приведены результаты опросов сотрудников статслужб Латинской америки и Карибских стран, результаты такие что хотя 78% сотрудников готовы хорошо работать, но только 46% планируют остаться работать в статведомстве. Там, кстати, есть ссылка на опрос удовлетворенности госслужащих зарплатой и у статистиков она особенно низка.

Иначе говоря платят специалистам в этой области мало, чем они объективно недовольны и из-за чего компетенции страдают так как специалисты лучшей квалификации идут в бизнес и в другие госорганы.

И это один из наиболее ключевых вопросов во всех реформах статслужб в мире и на которых пока мало хороших решений.

Что я вижу из происходящего в мире:
1. Маргинализация статистических служб в странах где изначально официальная статистика была сомнительной. Например, некоторые африканские страны. И использование альтернативных источников для получения нужных показателей/индикаторов потенциальными их потребителями.
2. Попытки обновления статистических служб с сохранение их идентификации именно в такой роли. Как правило усложнённые как раз недофинансированием и отсутствием компетенций.
3. Трансформация статистических служб в государственные службы данных и дальнейшая их реформа с точки зрения обеспечения инфраструктуры работы и доступа к данным для госорганов, бизнеса и граждан.

Всё это сводится, в том числе, к вопросу лидерства подобных организаций. И для полноценной реформы статистики здесь есть всего 3 сценария:
1) Главой стат службы должен быть профессионал в области статистики с видением реформ и готовностью их проводить (из того что я знаю наиболее знающие люди в этой области на такую должность просто не пойдут).
2) Главой стат службы должен быть профессионал в области государственных данных и трансформировать службу в службу данных (в РФ не наблюдается такой тренд)
3) Присоединить (не подчинить, а присоединить) Росстат к Минцифры РФ (не выглядит пока реалистично)
4) Главой стат службы должен быть человек с сильным внутриполитическим влиянием который уже привлечёт остальных профессионалов в статистике и работе с данными.

Что такое этот четвертый вариант? Это как если бы главой статслужбы назначили Германа Грефа или Мишустин со словами "я устал, я мухожух" уходя с поста премьера лично занялся бы реформой Росстата, благо у него опыт автоматизации ФНС был вполне релевантный.

Вот тогда можно будет поверить что будут реальные и серьёзные изменения в российской официальной статистике.

В других странах ситуация другая. Во многих развивающихся странах статслужбы крайне бедны и многие их информационные системы были созданы в рамках поддержки от Всемирного банка и других международных организаций.

Тем не менее я лично ставлю на то что неизбежно официальные статистические службы будут или трансформироваться или интегрироваться в государственные органы отвечающие за политику работы с данными и их предоставление.


#regulation #statistics #policies #thoughts

Поделюсь личной болью поиска людей, вне зависимости от того где искать сейчас глобально на рынке огромное число junior'ов и они откликаются на любую вакансию. Буквально пишешь в требованиях что ищешь миддла, а получаешь сотни резюме джуниоров. А если публикуешь вакансию на джуниор'ов то тоже сотня резюме, только ещё и написанных с ошибками, присланных без темы письма, с пустыми аккаунтами на Github'е и не минимальным, а просто полностью отсутствующим опыте.

У меня вот сейчас есть потребность как минимум в одном инженере по контролю качества (data quality engineer) для Dateno (это не в РФ, не налоговый резидент РФ, но желательно и не резидент ЕС) тоже и я уже опасаюсь того как размещать такую вакансию. Просто завалят резюме. Но видимо придётся скоро оформлять вакансию и готовиться читать много резюме, большую часть которых сразу отсеивать.

И очень много аутстафферов, агентств и людей работающих через аутстафф агенства, их куда сложнее интегрировать в команду. И непонятно зачем нужен посредник? Нужен ли?

А как Вы сейчас ищете людей особенно миддл разработчиков и дата инженеров и как набираете джуниоров? Какие курсы в плюс, какие в минус? Как ускоряете чтение резюме?

#thoughts #it

Вспомнил что по итогам Privacy Day 2025 я ничего не написал о том о чём там говорил. Кто-то мог прослушать меня в записи, а я повторю мысль здесь.

Ключевое изменение в отношении социальных сетей в последние годы - это то что не надо рассчитывать на юридическую защиту в отношении глобальных игроков. GDPR работает только в Евросоюзе, защита граждан США в США, а все остальные, по факту, остаются один на один с big tech.

И государства могут вскоре перестать иметь серьёзное влияние на них поскольку можно пронаблюдать за быстро переприсягнувшем Цукерберге и изначально трампистом Илоном Маском и предполагать сценарий что если какая-то из стран начнёт вводить новые ограничения на соц сети, то я бы не исключал сценария вроде того что Трамп уже проделывал против стран сопротивлявшихся приёму нелегальных мигрантов - это моментальные запредельные санкции.

Поэтому единственные по настоящему работающие действия по приватности в соц сетях - это отказ от них, выбор менее популярных, более приватных вариантов.

#thoughts #privacy

В последнее время всё чаще слышу про prompt engineering как отдельную профессию. Кто-то даже говорит что ей несколько лет. Даже вакансии такие регулярно появляются, не знаю как в России, а в мире точно есть.

У меня вопрос - а это реально отдельная профессия или чисто хайп? В моей картине мира работа с промптами ИИ - это дополнение других профессий и самостоятельной дисциплиной и профессией не является.

Предлагаю обсудить в чате. Следующим постом будет опрос на ту же тему

#thoughts

У Benn Stancil очередная замечательная заметка Most graduate degrees in analytics are scams [1] на более чем актуальную тему - многочисленных магистерских программ по аналитике (применительно к данным) в колледжах и университетах. Он сам и ему в комментариях там набрасывают немало инсайтов почему эти магистерские дипломы никак не влияют на привлекательность человека на рынке или влияют в обратную сторону и являются "красным флажком".

Ключевое в его посыле в том что академические программы по дата аналитике учат тому как работать сложными методами с очень простыми и лёгкими данными в том время как в реальной жизни всё наоборот, ты работаешь очень простыми методами с очень сложными данными. Сложными во всех смыслах: собрать, связать, очистить, ощутить неполноту не поддающуюся исправлениям и тд. Причём сложная математика, за очень и очень редким исключением, возникает только в data science, а сложные методы почти вообще никогда.

И там же у него о том почему стартапы ищут тех кто поступил в Гарвард или Стенфорд, но их не волнует учился ли там человек далее, потому что экзамен в эти университеты - это как IQ тест, говорит о человеке больше чем готовность учиться далее.

И наконец, как правильно пишет один из комментаторов, слишком часто люди отучившиеся по магистерским программам по аналитике теряют профессиональное любопытство. Это нормально для некоторых профессий, но не в IT, и не в аналитике в частности где всё довольно быстро меняется.

У Benn'а много хороших текстов и это один из них, стоит почитать хотя бы чтобы просто подумать над этой темой.

Что я могу добавить так это то что хуже чем магистерские программы - это многочисленные курсы по аналитике продаваемые под соусом "увеличь свою зарплату в 4 раза". В них есть худшее от обоих миров, это про обучение как работать с очень простыми данными очень простыми методами. Чем более массовыми такие курсы являются, тем больше они являются красными флажками для любого профессионального работодателя.
Потому что их прохождение говорит следующее:
1. Вас можно обмануть заманухой о быстром повышении зарплаты через явный скам.
2. Вы готовы потратить много времени на курс по которому можно было бы учиться самостоятельно, открытых материалов множество

У Benn'а есть совет в том что важнее взять данные которые реально вам интересны и сделать самостоятельную аналитику на их основе, копаясь в них до тех пока пока не найдётся нечто реально интересное.

Я к этому совету готов присоединится и усилить. Индустриальный опыт и любопытство в работе с данными в резюме и собеседовании значительно превосходят почти любое образование и курсы.

Ссылки:
[1] https://benn.substack.com/p/most-graduate-degrees-in-analytics

#it #dataanalytics #data #thoughts

Сижу читаю резюме что нам присылают на вакансию дата инженера в Инфокультуре, и схожая потребность с акцентом на AI есть у нас в Dateno, читаю посты разных близких и дальних знакомых про поиск работы для тех кто overqualified (не могу по русски подобрать точный перевод) и волей-не волей задумываюсь о том как поменялся рынок труда за эти годы.

Меня это всё наводит на следующие мысли:
1. Люди без навыков научились писать резюме и себя продавать, а люди с навыками чаще нет чем да. Но, на самом деле, рецепт хорошего резюме очень просто. Это 1 страница, последний работодатель, навыки, хобби. В работах на последнего работодателя кратко пунктами самые сложные задачи которые приходилось решать. И всё. По опыту чтения резюме скажу что такая форма не остаётся незамеченной. Больше 2-х страниц имеет смысл только если у 10+ лет опыта, претендуете на серьёзные позиции, скорее руководящие.

2. По ощущением многие кто жалуются что их не берут из-за того что они overqualified пропустили тот момент когда надо было уходить в открытие своего дела, консалтинг и тд. Вообще же когда квалифицированный человек ищет работу ниже своей квалификации, конечно, это вызывает резонные вопросы, "как так получилось?".

3. В ИТ сфере, могу сказать как работодатель, все вот эти курсы типа SkillBox, SkillFactory, это даже не флажок, а как красная тряпка. Разного рода развлекательных курсов стало дофига и цели большинства - выжать денег из тех кто сомневается в себе. Эксплуатация неуверенности в себе, без итоговой пользы. Если Вы их проходили чисто для себя, не забывайте что это не плюс в резюме для серьёзных работодателей.

4. Если разработчик ищет работу без профиля на Github/Gitlab с хотя бы несколькими хорошо оформленными репозиториями, то он не ищет работу, а симулирует ну или чем-то другим не очень приличным занимается. Потому что даже если твои последние 5+ лет работы были на секретных проектах по разработке AI вирусов для анальных зондов инопланетных захватчиков/ законспирированных разведчиков в непубличных проектах, не требуется много времени чтобы сделать личный пэт-проект и показать владение инструментами и понимание основ оформления кода.

И, наконец, именно в ИТ профильное образование критично и важно только от ограниченного числа ведущих универов. В остальных случаях при наличии индустриального опыта образование очень вторично.

#thoughts #it #jobs

Читаю работу OpenAlex: End-to-End Process for Topic Classification [1] от команды графа по научным работам OpenAlex о том как они классифицируют научные работы по каким темам и там у них есть иерархическая модель разметки работ по уровням Domains -> Fields -> Subfields -> Topics, причём тем (topics) довольно много и они привязаны все к статьям в Википедии. А вообще они построили свою классификацию через идентификацию макрокластеров [3] сообществ через цитирование. Большая и интересная тема, с понятной сложностью и результатами.

Я на всё это смотрю с точки зрения улучшения классификации датасетов в Dateno [4]. Сейчас в Dateno используется два классификатора. Европейский Data Theme [5] используемый в их портале data.europe.eu, но у него всего 13 тем очень верхнеуровневых и тематические категории (topic category) из ISO 19115 [6] которых 19 штук и тоже без иерархии. Тематические категории используются в каталогах данных на базе Geonetwork и в программе INSPIRE Евросоюза и они применимы к геоданным, в первую очередь.

Это одна из особенностей Dateno, да и остальных индексаторов датасетов. По разным блокам и типам каталогов данных свои тематические категории, не связанные между собой и кроме обычных датасетов и геоданных есть ещё и большие банки статистических данных живущих по своим правилам и своим группам.

Сложностей несколько:
- в отличие от научных работ здесь нет цитирования или аналогичных связей, значительно сложнее строить смысловые кластеры. Их можно строить на названиях, оригинальных тематиках в первоисточнике, тематиках самого первоисточника, но не на цитировании и не на связях.
- язык науки в мире почти весь английский, а там где не английский то французский, но в целом все исходят из того что он английский. А среди датасетов много данных на самых разных языках. Тут как раз проще со статистикой которая почти всегда имеет английскую версию и сложнее с остальным.

Тем не менее своя классификация необходима и её идеальные параметры были бы когда одна тема охватывает не более 10 тысяч наборов данных или временных рядов. То есть если мы имеем базу в 22 миллиона набора датасетов, то тематик должно быть не менее 2.2 тысяч, а ещё лучше не менее 5 тысяч. Тогда пользователь получает возможность быстро сузить поиск до нужной ему темы. Тогда у Dateno появляется ещё одна важная модель его применения, это подписка на появление нужных данных в одной или нескольких узких областях избегая ложных срабатываний при ключевых словах.

Без ИИ тут, кстати, не обойтись и ребята из OpenAlex использовали модель GPT 3.5 Turbo [7] для кластеризации научных работ и подбора названий выявленным кластерам.

Ссылки:
[1] https://docs.google.com/document/d/1bDopkhuGieQ4F8gGNj7sEc8WSE8mvLZS/edit?tab=t.0
[2] https://docs.google.com/spreadsheets/d/1v-MAq64x4YjhO7RWcB-yrKV5D_2vOOsxl4u6GBKEXY8/edit?gid=983250122#gid=983250122
[3] https://zenodo.org/records/10560276
[4] https://dateno.io
[5] https://op.europa.eu/en/web/eu-vocabularies/concept-scheme/-/resource?uri=http://publications.europa.eu/resource/authority/data-theme
[6] https://apps.usgs.gov/thesaurus/term-simple.php?thcode=15&code=000
[7] https://www.leidenmadtrics.nl/articles/an-open-approach-for-classifying-research-publications

#opendata #opensource #dateno #thoughts

Что я понял про дата инженерию за N лет работы с данными:
1. Из всех ресурсов всегда более всего, почти всегда, нехватает места для хранения и каналов для передачи данных. А когда начинает хватать, то потребности вырастают
2 Держи данные сжатыми, желательно всегда, но выбирая между способами сжатия выбирай те что позволяют использовать данные при потоковом разжимании данных.
3. Всегда имей архивную копию данных которые когда либо использовались. Если только нет юридических ограничений и ограничения в хранилищах не припёрли жёстко к стенке.
4. Не документировать данные тяжкий грех. Большинство патологические тяжкие грешники.
5. Если ты не платишь за данные поставщику они могут исчезнуть из доступа в любой момент. Если платишь то тоже, но реже и можно быстрее отреагировать.
6. Инструментарий очень быстро меняется, зацикливаться на инструментах 10-15 летней давности опасно для потери квалификации.
7. Все ненавидят облака, но жрут этот кактус. Иногда надо заставлять других этот кактус есть . Пользователей жалко, но всё идет туда.
8. Владей хотя бы одним ETL/ELT инструментом хорошо и ещё 2-3 хотя бы базово.
9. Данные всегда грязные. С небольшими табличками аналитики могут справиться сами, а большие требуют навыков дата инженеров.
10. Командная строка имеет значение (с). Многое работает значительно быстрее и эффективнее с командной строки.

Добавляйте ваши пункты😜

#dataengineering #thoughts

К вопросу о достоверности данных и поисковиках на базе ИИ, типа ChatGPT, Perplexity и всех остальных есть один важный момент который часто упускается. Классические поисковики много ресурсов вложили и вкладывают чтобы чистить всяческий SEO мусор. Когда какие-нибудь не самые думающие люди вместо сервисов для людей делают сайты для поисковиков и превращают какие-нибудь данные в бесконечное число страниц. С целью размещения на них рекламы, конечно, а не услуг для пользователей.

Крупные поисковики их чистят, или сильно пессимизируют в выдаче. А вот всякие AI краулеры этого не знают и не понимают и сжирают публикуемое там и делают на основе этого выводы. А у этого может быть то крайне неприятное последствия в том что можно подсовывать AI поисковикам очень фэйковые данные, тем самым "отравляя результаты" ответов ИИ поисковика.

Я это наблюдал на Perplexity который делал аналитические выводы не по первоисточникам, а по таким мусорным SEO'шным сайтам. В то же время Google и Yandex выдавали по тем же запросам ссылки на первоисточники.

#ai #thoughts

Что я понял за 15 лет работы с открытыми данными
[продолжаю рассуждать на разные темы пунктами, тем у меня ещё много;)]

1. Открытых данных очень много в целом, но мало когда исследуешь конкретную тему.
2. Если есть общая установка сверху то чиновники вполне адекватны в готовности публиковать данные. Если установки сверху нет, то только если это соответствует какой-то другой их повестке.
3. Да, открытые данные публикуются даже авторитарными режимами и диктатурами. Их доступность определяется не только политической повесткой, но и технологической зрелостью. Особенно много данных в странах где есть политическая повестка открытости + культура открытости + технологическая зрелость.
4. Для бизнеса открытые данные - это не более чем снижение до около нуля стоимости покупки данных. Но не ноль потому что стоимость владения и работы с данными складывается из расходов на их выгрузку, хранение, и работу дата программистов по их обработке.
5. За редким исключением дата корпорации, чем крупнее, тем сильнее, избегают публикации данных. Для них любые датасеты - это ценный материальный актив. Исключения есть в только там где они находят значимую выгоду от открытости - тренировка алгоритмов для ИИ, хакатоны, поддержание публичного реноме и тд. Но это всё всегда проходит через линзы оценки стоимости.
6. Движение открытости данных собиралось из 3-х потоков: научного (открытый доступ), политического (право на доступ к информации), технологического (интеграция информационных систем, особенно гос). Иногда они пересекаются, иногда нет. Научное наиболее устойчивое, но часто замкнутое в отдельных областях. Политическое нестабильное от грантополучения и повестки. Технологическое часто суженное до очень узких задач и часто отодвигающееся от открытости в сторону работы с условно любыми данными, не открытыми.
7. Порталы открытых данных сильно отстают от современной дата инженерии, но почти все современные дата продукт используют большие открытые датасеты в качестве примеров того что можно сделать на их основе
8. На открытых данных нет хороших бизнес моделей. Вернее нет хороших бизнес моделей _только_ на открытых данных. Хорошие дата продукты, как правило, интегрируют много разных дата источников.
9. Самые крупные доступные датасеты в мире - это физика частиц и расшифрованные геномы, все связаны с научными дисциплинами. Одни из самых востребованных - базовые слои геоданных.


#opendata #thoughts

Интересная свежая статья в Journal of Democracy под названием Delivering Democracy. Why Results matter? [1], на русском языке она прозвучала была с двояким смыслом "Доставляя демократию. Почему результаты имеют значение?". Доставляя как: гуманитарными или военными самолётами? Но здесь речь о классическом понимании provide (предоставлять). Среди авторов статьи Френсис Фукуяма что ещё одна причина её почитать.

Если коротко, то основная идея в том что Демократия не может быть основана только на идеалах. Граждане хотят результатов: работы, безопасности, услуг. Мысль не то чтобы новая, но предельно коротко и точно изложенная именно в этой статье и то что ситуации когда в демократических странах идут долгие экономические кризисы то возникают и кризисы восприятия демократии и наоборот и есть бесспорные экономические успехи в авторитарных странах.

Я, также, ранее не встречал термина performance legitimacy, он есть в предыдущей статье Бена Кросса, Performance Legitimacy for Realists [2] одного из соавторов. Это термин применяемый к восточно-азиатским странам и его можно описать так

Легитимность на основе эффективности (или performance legitimacy) — это концепция, согласно которой власть обосновывает своё право на управление через успешное выполнение задач, направленных на улучшение жизни граждан, а не через традиционные или демократические источники легитимности. Этот подход основывается на достижении положительных материальных результатов, таких как экономический рост, снижение уровня бедности и повышение качества жизни населения.

И, кстати, он применим не только к восточно-азиатским странам, многие авторитарные страны в мире идут тем же путём. И это не худшая форма авторитаризма, конечно,.

Ключевое в статье - это акцент на том как перезапустить демократии чтобы они тоже могли доставлять не хуже авторитарных режимов и, честно говоря, ответов там мало. Я увидел один базовый тезис - лучше управляйте экономикой и его расширение эффективнее развивайте инфраструктуру.

Всё это, конечно, к технологической инфраструктуре и цифровым сервисам имеет прямое отношение. У демократических государств гораздо больше барьеров в их реализации. Авторитаризм имеющие большие экономические ресурсы может быть весьма эффективен. Как демократиям научиться доставлять в этой области - вот в чём вопрос.

Ссылки:
[1] https://muse.jhu.edu/pub/1/article/954557
[2] https://muse.jhu.edu/pub/5/article/918473

#opengov #data tech #thoughts #democracy #digitalservices