This project processes real-time music event data using Kafka, Apache Spark on Google Cloud Dataproc, and stores the transformed data in BigQuery for analytics, all orchestrated by Airflow and managed with Terraform.
Импорт данных из Yandex Object Storage, обработка и экспорт в Yandex Managed Service for ClickHouse®.
Импорт данных из Yandex Managed Service for MySQL в Yandex Data Processing с помощью Sqoop.
Импорт данных из Yandex Managed Service for PostgreSQL в Yandex Data Processing с помощью Sqoop.
Обмен данными с Yandex Managed Service for Apache Kafka®.
Переключение сетевого соединения при пересоздании кластера Yandex Data Processing.
Настройка сети для Yandex Data Processing.
Перенос метаданных между кластерами Yandex Data Processing с помощью Yandex Managed Service for Metastore.
Обмен данными между Yandex Managed Service for ClickHouse® и Yandex Data Processing.
Совместная работа с таблицами в Yandex Data Processing с использованием Metastore.
Запуск и управление приложениями для Spark и PySpark в сервисе Yandex Data Processing.
Add a description, image, and links to the data-proc topic page so that developers can more easily learn about it.
To associate your repository with the data-proc topic, visit your repo's landing page and select "manage topics."