The Future history of data engineering [1] активно цитируемый сейчас текст от Matt Arderne в котором он описывает развитие текущих платформ по инженерии данных и их будущее. Рассуждения интересные, практические и автор пишет про новое понятие и роль Data Platform Engineer (DPE). Это инженер данных который знает как устроены платформы для работы с данными и знает как правильно их применять для конкретых, как правило сложных, случаях.
Ссылки:
[1] https://groupby1.substack.com/p/data-engineering
#data #readings #dataenginering
Ссылки:
[1] https://groupby1.substack.com/p/data-engineering
#data #readings #dataenginering
group by 1
The future history of Data Engineering
On Data Engineers and their place in a Data SaaS world
👍1
Свежий любопытный продукт Nimtable [1] для корпоративных каталогов данных. Работает поверх каталогов Apache Iceberg, позволяет управлять каталогами, делать запросы к ним и оптимизировать таблицы с данными. Выглядит интересно и определённо стоит посмотреть его в работе.
Ссылки:
[1] https://github.com/nimtable/nimtable
#dataenginering #datatools
Ссылки:
[1] https://github.com/nimtable/nimtable
#dataenginering #datatools
✍5
Новый подход в Data engineering - ECL (Extract Contextualize Link). Через адаптацию подхода ETL к применению ИИ.
Концепция не бесспорная, но интересная. Как верно указывают автору в комментариях она не решает проблему владения процессами, данными и так далее, но дает опору для переосмысления роли дата инженеров в среде где ИИ для обработки данных становится новой нормой.
Подробнее в тексте https://www.dataengineeringweekly.com/p/data-engineering-after-ai
#dataenginering #data
Концепция не бесспорная, но интересная. Как верно указывают автору в комментариях она не решает проблему владения процессами, данными и так далее, но дает опору для переосмысления роли дата инженеров в среде где ИИ для обработки данных становится новой нормой.
Подробнее в тексте https://www.dataengineeringweekly.com/p/data-engineering-after-ai
#dataenginering #data
1👍8✍5🔥3