В Форбс статья о том как похорошела Москва в исследовании Kept (ранее KPMG), они приводят и мой комментарий о том что с данными доступными для граждан в РФ и Москве в частности всё довольно таки так себе, не очень, особенно в сравнении с Китаем. Хорошо что хоть Kept обращают на это внимание, но вообще смотря с кем/чем сравнивать. Например, в Армении и Ереване в частности вообще нет портала открытых данных, а в Центральной Азии в городах тоже нет или есть только номинально. А у китайцев доступных данных всё больше

#opendata #moscow #china

Полезные ссылки про данные, технологии и не только:
- Slidecrafting открытая книжка про рисование презентаций с помощью Quatro, продвинутого движка для документирования и визуализации. Лично я этим искусством владею недостаточно, но инструмент полезный и книжка тожа
- StataWales новый портал статистики Уэльса (Великобритания), ничего необычного, кроме акцента на API и некоторых интерфейсных решений таких как отсутствие поиска.
- Supporting open science practices: Why share your research data? заметка в Springer Nature о том почему всё больше открытых данных публикуется учёными. Главное - рост цитируемости работ и требования тех кто финансирует научные работы.
- Data is not available upon request научная статья о том что механизм предоставления данных по запросу работает плохо. Многие авторы научных работ публикующие данные в режиме "по запросу" по запросу их не предоставляют. Работа в журнале по психологии потому что это про психологию.
- Why Conservatives Are Attacking ‘Wokepedia’ статья в WSJ о Grokipedia, ничего сверхнового, просто некоторая систематизация. Я бы добавил к этому взгляд что развитие ИИ позволяет порождать над Википедией любые контентные фильтры. Условно помимо Grokipedia можно быстро порождать версии Википедии с иными "политическими взглядами". Российская РуВики, кстати, сделано по той же модели.
- Opening Doors with AI: How Free Law Project and the Civil Rights Litigation Clearinghouse Are Reimagining Legal Research про проект Free Law по развитию открытости юридических документов и юридических систем. Ориентировано на юридическую систему США, но стоит присмотреться к подходам и потенциальным результатам для любой страны

#ai #data #laws #FAIR #wikipedia #tools #books

Давно хотел написать почему я так отрицательно отношусь к перезапуску российского портала data.gov.ru, потому что ещё довольно давно, в мирное время, я довольно много думал о том как его можно бы привести если не в хорошее, то в адекватное состояние. Вот тут прилагаю изображением и картой Xmind одну из схем структуризации мыслей тех времен. Если по этой структуре пройтись и проставить галочки есть/нет, то окажется что перезапущенный портал даже по очень формальным критериям очень сомнителен. А это, подчеркну, довольно давние мысли. Сейчас я бы думал ещё и в сторону особо ценных наборов данных, API и данных для ИИ.

В перезапуск data.gov.ru в РФ я как-то уже не особенно верю, там нетехнические проблемы, но как базовый набор действий для любого странового или регионального портала это можно использовать.

#opendata #datagovru #mindmaps

В свежей статье - State of the software engineering jobs market, 2025: what hiring managers see

Observations by 30+ hiring managers and tech recruiters about what’s happening: a flood of inbound applications means more selective hiring, there’s increased demand for product engineers, and more

Основные тезисы:

Наводнение откликов. Более 1000 кандидатов на одну вакансию — не редкость. LinkedIn Jobs стал местом для низкокачественных входящих заявок, из-за чего некоторые компании отказываются от его использования.

Мало наймов через входящие заявки. Несмотря на огромное количество откликов, большинство инженеров компании нанимают через прямые обращения и рекомендации.
Сложно найти действительно сильных кандидатов. Хотя заявок много, выдающиеся инженеры редки и часто выбирают из нескольких предложений.

Удалённая работа: больше конкуренции, меньше зарплаты? Компании, нанимающие удалённо, могут позволить себе нанимать лучших инженеров на 10–15% дешевле, чем раньше.

Фейковые кандидаты и ИИ — растущая проблема. Полностью удалённые и крипто-стартапы страдают от поддельных соискателей, которые скрывают своё местоположение и обманывают рекрутеров. Также всё чаще кандидаты жульничают на собеседованиях, используя ИИ-инструменты.

Высокий спрос на инженеров-основателей и продуктовых инженеров. В Великобритании инженерам-основателям предлагают до £200 000 ($270 000) в год плюс долю в компании. Стартапы в сфере ИИ поднимают уровень зарплат для продуктовых инженеров по всему рынку.

Ранняя стадия стартапов — свои сложности. Привлечь опытных инженеров из известных компаний по-прежнему трудно, а лучшие кандидаты часто имеют несколько конкурентных офферов.

Я почему-то думал, что на каждую вакансию - 500 кандидатов, но ставки растут. И абсолютно согласен, что среди 1000 кандидатов, может не оказаться ни одного нормального.

Существенная часть моей работы прямо сейчас - это как раз собеседования специалистов команду Dateno и не только и со своей колокольни могу сказать что:
1. Механизм домашних заданий и режим просто поговорить неработают. Только технические интервью, которые бывают утомительны, но дают реальное понимание кандидатов. Всё чаще случаи когда у кандидатов хорошо подвешен язык, но ревью кода они провести не могут, хотя это чуть ли не важнейшее качество для миддла и сеньёра.
2. Механизм просто размещения вакансий не работает. Приходят сотни откликов от очень нерелевантных кандидатов. Гораздо лучше работает когда привлекаешь рекрутера, но рекрутеров привлекать имеет смысл лишь по рекомендации.
3. На вакансии в РФ часто откликаются рекрутинговые агенства (но если у них нет рекомендаций от знакомых, то веры в них нет), а на вакансии за пределами РФ чаще приходят индийские аутстаферы, им тоже веры нет.
4. Почти все курсы не дают знаний в решении проблем, увы
5. Хорошие специалисты всегда любопытны и знают о разных способах решения задач.
6. Разработчики стремящиеся стать тимлидами - это скорее нет чем да. И переход из тимлидов в рядовые разработчики чаще признак выгорания. Это не универсально, но достаточно часто
7. Говорят что в других ИТ профессиях таких как ИТ маркетинг, управление продуктами и проектами ситуация сильно хуже. Конкуренция выше, поиск специалистов сильно дольше.
8. Подход к тому что понять насколько человек квалифицирован на испытательном сроке работает плохо, можно эмулировать знания с помощью ИИ. Испытательный срок нужен для понимания насколько человек соответствует работе в проектной команде.

Тут ещё много можно продолжать. Лучше поделитесь своими ощущениями поиска работы и поиска сотрудников

#it #jobs #thoughts

Интересный свежий продукт Arc с открытым кодом по созданию хранилищ временных рядов. Внутри DuckDB, Parquet и MinIO, лицензия AGPL-3.0. Судя по коду и описанию он скорее про создание корпоративных банков временных рядов, в нем нет управления метаданными, но декларируется высокая скорость чтения и загрузки данных. А также интеграция с Superset. Если бы я делал движок BI внутри крупной компании, я бы к нему внимательно присмотрелся, поскольку я его не делаю, то любопытствую его внутренним устройством и подходом.

Для скорости там используется MessagePack, для управления декларативное кодирование в TOML файле конфигурации. Декларируют также импорт данных из крупных баз данных для временных рядов.

#opensource #data #datatools

В рубрике как это устроено у них Underground Asset Registry реестр подземных коммуникаций и объектов Новой Зеландии, сейчас покрывает город Веллингтон и включает данные собранные с помощью LIDAR'ов, GPR и других технологий автоматической идентификации инфраструктуры и аномалий. В 2020 году они таким образом оцифровали 16 километров города и приступили к починке найденных аномалий. Особенность в том что данные доступны для строительных компаний, они не в открытом доступе и предоставляются только после регистрации.

Внутри централизованный каталог данных с возможностью их выгрузки и отображением в ГИС системе.

Все данные разделены на 4 уровня безопасности из которых все данные 1-го уровня S0 доступны без ограничений после авторизации

#data #newzealand #geodata

🔍 Метаданные DataCite теперь интегрированы в OpenAlex

DataCite и OpenAlex запустили новую интеграцию, призванную расширить возможности поиска и влияние открытых исследований: теперь в OpenAlex доступно более 92 миллионов DOI DataCite.

Организации-члены DataCite, регистрирующие DOI, теперь будут видеть результаты своих исследований и ресурсы, проиндексированные в OpenAlex. Пользователи OpenAlex теперь могут получить более полную картину исследовательского ландшафта, содержащую разнообразные результаты исследований, такие как наборы данных, препринты, диссертации, программное обеспечение и другие материалы DataCite.

Для DataCite и OpenAlex эта интеграция представляет собой важную веху на пути к достижению общих целей — сделать исследовательскую информацию более открытой и доступной.

Источник: DataCite

Fivetran официально объединились с dbt Labs, а до этого они поглотили Tobiko Data, создателей SQLMesh. У них теперь под контролем аж две команды создававшие продукты номер 1 и номер 2 по корпоративной обработке данных, что чертовски похоже на монополию (на самом деле нет) и вызывает вопросы по перспективам открытых версий dbt и SQLMesh потому что два конкурирующих продукта под одной крышей.

К тому же и крыша такая что не всем нравится Fivetran из-за его новой ценовой политики основанной на числе обрабатываемых строк.

Поэтому новость не могу отнести к хорошим, но будем ждать новых свежих открытых продуктов в этой области если dbt протухнут.

#dataengineering #data #datatools

Читаю реакцию российской ИТ отрасли на повышение налогов и много что могу добавить, взглядом сразу с нескольких сторон.
1. С точки зрения гос-ва (читай - Пр-ва) у ИТ отрасли есть сверхдоходы. Налоговики прекрасно видят и доходы, и прибыль, и налоговые оптимизации (через льготные режимы, дробление, массовый найм самозанятых, ИТ ИПшников и тд), поэтому с их точки зрения действия по повышению налогов более чем логичны и я думаю что все решения тут принимаются не в Минцифры, а уровнем выше и Минцифры может выступать только с точки зрения защиты отрасли, но не центра принятия решений.
2. То что я слышал от российских чиновников так это то что нового оттока ИТ спецов из России они не ожидают и исходят из того что "все кто хотел уже уехал и даже возвращаются". Лично я считаю что риск отъезда квалифицированных спецов всё ещё велик, потому что им может грозить падение доходов.
3. То что под повышение налогов попадают ряд "чувствительных ИТ направлений" не приведёт к снижению налогов для всех, а только для конкретных направлений если им станет совсем больно. Особенность российского законотворчества последних пары десятилетий в принятии жесткого регулирования для всех, с точечным ослаблением так где это наиболее болезненно. Можно сказать это стандартная практика
4. Малому ИТ бизнесу будет тяжко, средний и крупный уйдёт в консолидацию. В целом у всего рынка будет существенное сокращение прибыли, доходов и тд. в том числе из-за сокращения госзаказа на ИТ, потому что де-факто крупный корп сектор уже давно приостановил инвестиции и резво переходит на инсорсинг (или уже перешел), как и часть госсектора, включая сокращение ИТ бюджетов
5. Рынок труда в ИТ останется рынком работодателей для позиций Junior-Middle уровней и останется рынком соискателя для уровней Middle+ и выше.


#thoughts #it #russia

Да, всё забываю написать. С 20 по 24 октября пройдет Евразийский конгресс по защите
данных edpc.network и я там участвую 20-го числа в сессии 3.1. Трансформация бизнес-процессов на базе ИИ 15:00 – 16:00, а также буду слушать многие другие секции.

Мероприятие это полезное, с сильным сообществом и разнообразной повесткой по юридическим аспектам работы с данными и ИИ. Рекомендую его однозначно всем кто интересуется тематиками персональных данных не только в ЕАЭС, но и в мире.

#events #privacy

Давно ожидаемо, и вот UK стартап AI-free