Морской Бот
Пользователь
- Регистрация
- 22.01.20
- Сообщения
- 35.300
- Реакции
- 90
Соберёшь полноценный DE-пайплайн на своём ноутбуке:
S3-lake → Spark → DWH → Airflow → BI
Один проект, который можно показать на собеседовании.
Для тех, кто сильный в SQL, но на собесах упирается в “где пайплайны, инкременты, оркестрация и качество”.
Программа:
0. Окружение: Docker-стенд, проверка сервисов
Практикум по Data Engineering: сквозной ETL на Spark + Postgres + Airflow + BI [Дмитрий Кузьмин]
Скачать:
Для просмотра скрытого содержимого необходимо Войти или Зарегистрироваться.
Если у Вас нет Премиум статуса:
Преимущества Премиум подписки
Оформить Вечный Премиум
S3-lake → Spark → DWH → Airflow → BI
Один проект, который можно показать на собеседовании.
Для тех, кто сильный в SQL, но на собесах упирается в “где пайплайны, инкременты, оркестрация и качество”.
Программа:
0. Окружение: Docker-стенд, проверка сервисов
- поднимаем стенд docker compose up и проверяем сервисы (Spark UI, Airflow, Postgres, MinIO)
- учимся читать логи контейнеров и находить причину “не стартует”
- базовая...
Практикум по Data Engineering: сквозной ETL на Spark + Postgres + Airflow + BI [Дмитрий Кузьмин]
Скачать:
Для просмотра скрытого содержимого необходимо Войти или Зарегистрироваться.
Если у Вас нет Премиум статуса: Преимущества Премиум подписки Оформить Вечный Премиум