Курс "Інжиніринг даних" пропонує комплексний погляд на сучасні підходи до роботи з даними в масштабних системах. Цей курс допоможе вам опанувати навички та інструменти, необхідні для ефективного збирання, обробки, зберігання даних.
Основні теми курсу:
- Вступ до інжинірингу даних - Ознайомлення з базовими концепціями, роллю інженера даних у сучасних компаніях та ключовими викликами в управлінні даними.
- Моделювання і архітектура даних - Вивчення принципів проектування даних, моделей даних та архітектурних рішень для ефективної організації інформаційних потоків.
- Основи Kafka - Поглиблене вивчення Apache Kafka як потужної платформи для потокової обробки даних, її архітектури, принципів роботи та практичного застосування.
- Потік і конвеєр даних - Створення та керування процесами збору, трансформації та доставки даних у реальному часі, а також у пакетному режимі.
- Сховища - Аналіз різних типів сховищ даних: реляційних, документоорієнтованих, колоночних баз даних, сховищ "ключ-значення" та їх застосування для різних сценаріїв. Вивчення оптимізованих форматів файлів , таких як Parquet та ORC, їх переваги у швидкості обробки та ефективності зберігання даних. Дослідження концепції Data Lakehouse.
- Оркестрація та планування - Керування складними робочими процесами даних з використанням систем оркестрації, планування задач та автоматизації.
Курс поєднує теоретичні знання з практичними навичками.
- Teacher: Едгар Вадимович Ватаманіца
- Teacher: Юрій Олександрович Ушенко