AIRF: Apache AirFlow: Курсы

2-дневный практический курс по Apache AirFlow разработан для специалистов, инженеров данных и архитекторов, отвечающих за настройку и сопровождение потоков данных (Data Flow) в организации и озерах данных под управление Hadoop и Apache AirFlow.
IT: Для программистов и IT-специалистовIT: Для программистов и IT-специалистов / Информационные системы и технологии
Коммерсант логоКоммерсант
15 июня 2022
32 часа
Москва
Коммерсант
от 60 000 ₽

Анонс программы

2-дневный практический курс по Apache AirFlow разработан для специалистов, инженеров данных и архитекторов, отвечающих за настройку и сопровождение потоков данных (Data Flow) в организации и озерах данных под управление Hadoop и Apache AirFlow.

Целевая аудитория

Системные администраторы, системные архитекторы, разработчики Hadoop, желающие получить практические навыки по управлению потоковыми данными с использованием Apache AirFlow.

Преподаватель

Николай Комиссаренко

Описание Программы

  1. Введение в Data Flow
    • История появления,на чем написан (python)
    • Основной объект (DAG)
    • Операторы и таски
    • Worker
    • Scheduler, schedule interval и execution date
    • Pool’ы
    • Приоритезация
    • Метаданные
    • Airflow UI и Webserver
    • Мониторинг (средства Airflow и кастомные варианты)
    • Алерты Введение в Apache AirFlow
    • Логирование
  2. Разработка Data Flow с Apache AirFlow
    • Создание и основные параметры DAG
    • Operators и plugins
    • Hooks, connections, и variables
    • Работающие из коробки и уже написанные community операторы, хуки и т.п.
    • Создание тасков
    • Макросы (Jinja)
    • Управление зависимостями (внутри DAG, внешние зависимости, timedelta)
    • Визуализация в Web UI
    • Настройка расписания
    • Контекст (выполнения task)
    • Обмен сообщениями между tasks, DAGS (xcom)
    • Добавление настраиваемых операторов, сенсоров, хуков и т.п.
  3. Развертывание и настройка Airflow
    • Установка Airflow в конфигурации по умолчанию (SQLite, SequentialExecutor)
    • Установка Redis, Celery
    • Настройка airflow.cfg (PostgreSQL, Celery, Redis, parallel degree...)
    • Запуск (service,н—рsystemctl, doker)
    • Кластеризация (масштабируемость, безотказность)
  4. Особенности и проблемы в Airflow
    • Версии python(2 или 3)
    • Debug
    • Тестирование
    • Логирование

Практические занятия:

  • Настройка окружения (Pycharm, python, библиотеки для окружения в Virtualenv).
  • Создание DAG с задачами BashOperator / PythonOperator для получения данных из Kafka.
  • Создание кастомного оператора, осуществляющего по заданным параметрам выгрузку из Kafka.
  • Создание DAG, использующего созданный оператор.
Записаться на курс
AIRF: Apache AirFlow: Курсы
60 000
Заполните контактные данные
Оставьте заявку, чтобы забронировать себе место.
Наш менеджер свяжется с вами и ответит на любые ваши вопросы.
15 июня 2022
32 часа
Москва
Коммерсант
от 60 000 ₽
Как добраться?
Москва, Коммерсант