Инжиниринг Данных
23.6K subscribers
2.02K photos
57 videos
193 files
3.23K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 10 лет в MAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
Forwarded from Data Ninja (Dmitriy)
Не люблю формальные определения и всю эту мишуру. Но тем не менее бывают достаточно полезные знания, которые позволяют яснее излагать свои мысли при описании требований к построению хранилищ данных. Одним из таких формальных определений является SCD (Slowly Changing Dimensions) - это такие данные которые могут меняться со временем, и на самом деле у нас есть целых 3 способа зафиксировать измнения.

Пример данных которые могут измениться

+--------+------------+-------------------+
| Имя | Дата рождения | Должность |
+--------+------------+-------------------+
| Иванов | 1990-01-01 | Младший сотрудник |
+--------+------------+-------------------+


SCD1 - честно выполняем UPDATE данных и теряем историю

+--------+------------+-------------------+
| Имя | Дата рождения | Должность
+--------+------------+-------------------+
| Иванов | 1990-01-01 | Специалист
+--------+------------+-------------------+


SCD2 - добавляем запись строкой, сохраняем историю и увеличиваем объем данных

+--------+------------+-------------------+-------------------+
| Имя | Дата рождения | Должность | Дата события
+--------+------------+-------------------+-------------------+
| Иванов | 1990-01-01 | Младший сотрудник | 2001-01-01
+--------+------------+-------------------+-------------------+
| Иванов | 1990-01-01 | Специалист | 2002-01-02
+--------+------------+-------------------+-------------------+


SCD3 - добавляем новое значение как колонку (редко используемое)

+--------+------------+-------------------+-------------------+
| Имя | Дата рождения | Пред. Должность | Новая Должность
+--------+------------+-------------------+-------------------+
| Иванов | 1990-01-01 | Младший сотрудник | Специалист
+--------+------------+-------------------+-------------------+


#собеседование