#dataengineering
Интересное сравнение современных систем Хранилищ Данных. Snowflake самый молодой и был создан для облака и там сразу есть все необходимое. Остальные пытаются догонять.
Так например, Redshift в прошлом году выпустил Spectrum (для поддержки внешних таблиц на основе файлов в S3). А сейчас выпустил новую фичу, для моментального масштабирования вверх и вниз. Например, последний раз уменьшал размер кластера с 4х нод до 3х и это заняло 8 часов (при объеме 6ТБ), что отрицательно сказалось на ночном ETL. В Амазон мы используюе редшифт в качестве Data Mart (витрины данных, то есть собираем только необходимы данные, у каждый команды свой инфраструктура).
Интересно кто будет первым клиентом Snowflake в РФ, и вообще будут ли. PS у вас еще есть возможность пройти лабу с #matemarketing, инструкции в самом вверху канала. Через несколько дней trial закончится.
Интересное сравнение современных систем Хранилищ Данных. Snowflake самый молодой и был создан для облака и там сразу есть все необходимое. Остальные пытаются догонять.
Так например, Redshift в прошлом году выпустил Spectrum (для поддержки внешних таблиц на основе файлов в S3). А сейчас выпустил новую фичу, для моментального масштабирования вверх и вниз. Например, последний раз уменьшал размер кластера с 4х нод до 3х и это заняло 8 часов (при объеме 6ТБ), что отрицательно сказалось на ночном ETL. В Амазон мы используюе редшифт в качестве Data Mart (витрины данных, то есть собираем только необходимы данные, у каждый команды свой инфраструктура).
Интересно кто будет первым клиентом Snowflake в РФ, и вообще будут ли. PS у вас еще есть возможность пройти лабу с #matemarketing, инструкции в самом вверху канала. Через несколько дней trial закончится.