DuckDB посчитал быстрей кол-во строк в CSV, чем UNIX wc -l.


Unix:

time wc -l services-2023.csv

21239394 services-2023.csv
wc -l services-2023.csv  2.66s user 0.29s system 99% cpu 2.966 total

DuckDB:

time duckdb -c "select count(*) from read_csv('services-2023.csv', header = false)"

count_star()
int64
21239394

duckdb -c "select count(*) from read_csv('services-2023.csv', header = false)" 11.17s user 0.57s system 930% cpu 1.261 total

Если еще не начали использовать, то самое время попробовать.

Из DuckDB white paper:

Перевод как обычно 🙌


DuckDB — это встроенная аналитическая база данных с открытым исходным кодом, созданная для выполнения аналитических SQL-запросов непосредственно внутри процесса хост-приложения.

Она решает ограничения существующих встраиваемых решений, таких как SQLite, которая не подходит для аналитических (OLAP) нагрузок, и заполняет пробел в таких сценариях, как интерактивный анализ данных (например, в R или Python) и edge computing.

Основные моменты:

Проблема: Традиционные базы данных работают как отдельные серверные процессы и требуют значительных ресурсов. SQLite широко используется, но оптимизирована для транзакционных (OLTP) задач, что делает её неэффективной для аналитики. Необходима встроенная аналитическая система.

Особенности DuckDB:

- Высокая производительность для OLAP, сохраняя базовые возможности OLTP.
Устойчивость: предотвращение сбоев хост-приложения и безопасное завершение запросов при нехватке ресурсов.

- Эффективный обмен данными внутри процесса между базой данных и приложением.
- Портативность и минимум внешних зависимостей.

Дизайн и реализация:

- Используется модульная архитектура (parser, optimizer, execution engine), адаптированная для встроенной аналитики.

- Применяется векторизированное выполнение (vectorized execution) для повышения производительности и портативности, избегая сложных зависимостей, таких как LLVM.

- Обеспечивается поддержка ACID через Multi-Version Concurrency Control (MVCC).

- Используется оптимизированный формат хранения данных с компрессией и индексированием.

Демонстрация:

- DuckDB сравнивается с SQLite, MonetDBLite и HyPer на идентичном оборудовании с использованием TPC-H benchmarks, чтобы показать её превосходство при обработке больших объёмов данных.

- Позволяет пользователям запускать запросы и в реальном времени проверять масштабируемость и производительность.

Применение и будущее развитие:

- Подходит для сценариев, где требуется встроенная аналитика, например, edge computing или интерактивный анализ в лёгких инструментах.

- Планируется добавление intra-query параллелизма, балансировки ресурсов и механизмов устойчивости к аппаратным сбоям.

Видео (4 года назад)- Dissecting DuckDB:
The internals of the “SQLite for Analytics”

Бесплатная Книга - DuckDB in Action"

DuckDB официально поддерживается dbt.

В целом, если вы хотите сделать аналитическое решение с Open Source для небольшого объема (данные помещаются на одной машине), то в качестве SQL движка можно использовать DuckDB вместе с:
- Minio для object storage
- dbt для трансформаций
- Metabase/Superset для BI
- Airflow/Dagster/Prefect для оркестрации
- Prometheus/Grafana для data observability
- Open Metadata/Data Hub для бизнес каталога и lineage
- GitHub/GitLab для версионности и CI/CD
- Terraform или Tofu для инфраструктуры как код
- Можно и streaming добавить Redpanda, Flink, Kafka, Debezium

Все это дело можно запустить в контейнерах или на (managed) Kubernetes кластере.

Вместо DuckDB можно и кучу других решений - Trino, ClickHouse, Greenplum или коммерческий продукт (я обычно не экономлю на storage инструменте)