The Future history of data engineering [1] активно цитируемый сейчас текст от Matt Arderne в котором он описывает развитие текущих платформ по инженерии данных и их будущее. Рассуждения интересные, практические и автор пишет про новое понятие и роль Data Platform Engineer (DPE). Это инженер данных который знает как устроены платформы для работы с данными и знает как правильно их применять для конкретых, как правило сложных, случаях.
Ссылки:
[1] https://groupby1.substack.com/p/data-engineering
#data #readings #dataenginering
Ссылки:
[1] https://groupby1.substack.com/p/data-engineering
#data #readings #dataenginering
group by 1
The future history of Data Engineering
On Data Engineers and their place in a Data SaaS world
Свежий любопытный продукт Nimtable [1] для корпоративных каталогов данных. Работает поверх каталогов Apache Iceberg, позволяет управлять каталогами, делать запросы к ним и оптимизировать таблицы с данными. Выглядит интересно и определённо стоит посмотреть его в работе.
Ссылки:
[1] https://github.com/nimtable/nimtable
#dataenginering #datatools
Ссылки:
[1] https://github.com/nimtable/nimtable
#dataenginering #datatools