Ivan Begtin
9.37K subscribers
2.16K photos
4 videos
104 files
4.89K links
I write about Open Data, Data Engineering, Government, Privacy, Digital Preservation and etc.

Founder of Dateno https://dateno.io

Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Email ivan@begtin.tech

Ads/promotion agent: @k0shk
Download Telegram
Вакансия для тех кто ищет работу в области дата инженерии https://hh.ru/vacancy/118444436, но не в кровавом энтерпрайзе, а в общественных и научных проектах. Уметь строить конвееры данных обязательно, опыт не должен быть нулевым, но когда есть чему поучиться. Работа с общедоступными данными, их сбор, обработка и автоматизация и наблюдаемость этого всего.

#vacancy #dataengineering
Накопилось разное про разное про задачи и работы:
1. Нам в Dateno нужен ещё один дата инженер, полная загрузка, дистанционно. Задачи интересные, не супер сложные, но сложные. Нужно извлекать метаданные и данные из сотен и тысяч источников и по определенным правилам складывать их в базы данных. Что такое Dateno я регулярно пишу здесь - это один из крупнейших поисковиков по датасетам в мире, второй по масштабам после Google Dataset Search. Dateno международный проект, человек может быть в условно любой стране, но желательно в часовых поясах между 0 и +4 к GMT.

2. В Инфокультуре в РФ у нас есть задачи для тех кто может и любит писать про данные на регулярной основе. Нет, не в мой телеграм канал;) Но регулярно писать про применение данных, новых интересных датасетах. Как такой человек называется контент менеджер или SMM специалист? Я вот плохо это понимаю, но есть телеграм каналы и сайты которые надо вести. Если Вы такой человек, пришлите резюме на infoculture@infoculture.ru. Вопросы можно мне в личку задавать.

3. В Open Data Armenia Есть задача которую не удалось решить за несколько попыток с помощью кодирующего ИИ - это выгрузить из статбанка Армении данные индикаторов https://statbank.armstat.am на всех доступных языках, все значения. Особенность в том что статбанк работает на базе ПО PxWeb используемое статслужбами в скандинавских странах, но инсталляция там очень старая и без открытого API. Когда говоришь LLM создать скрейпер для этого сайта, то он пытается сгенерировать код которые стучится в код API PxWeb. Поэтому есть задача для фрилансера написать скрейпер кода заставить какую-нибудь LLM такой работающий код сгенерировать. Задача для волонтера или фрилансера. Если хотите за деньги её сделать, напишите что мол "возьмусь, стоит столько то", если по цене договоримся, то можно приступать. А если как волонтер, то сразу присылайте ссылку на код на Github'е

#jobs #vacancy #data #tasks