Ингестия данных
ClickHouse интегрируется с рядом решений для интеграции и преобразования данных. Дополнительную информацию см. на страницах ниже:
| Data Ingestion Tool | Description |
|---|---|
| Airbyte | Платформа интеграции данных с открытым исходным кодом. Позволяет создавать ELT-конвейеры данных и включает более 140 готовых коннекторов. |
| Apache Spark | Многоязычный движок для выполнения задач data engineering, data science и машинного обучения на отдельных узлах или в кластерах |
| Apache Flink | Ингестия и обработка данных в реальном времени в ClickHouse через DataStream API Flink с поддержкой пакетной записи |
| Amazon Glue | Полностью управляемый бессерверный сервис интеграции данных от Amazon Web Services (AWS), упрощающий поиск, подготовку и преобразование данных для аналитики, машинного обучения и разработки приложений. |
| Artie | Полностью управляемая платформа потоковой передачи данных в реальном времени, которая реплицирует данные из систем промышленной эксплуатации в ClickHouse, открывая возможности для клиентской аналитики, операционных процессов и Agentic AI в промышленной эксплуатации. |
| Azure Synapse | Полностью управляемый облачный аналитический сервис от Microsoft Azure, объединяющий большие данные и хранилище данных для упрощения интеграции, преобразования и аналитики данных в масштабе с использованием SQL, Apache Spark и конвейеров данных. |
| Azure Data Factory | Облачный сервис интеграции данных, который позволяет создавать, планировать и оркестрировать потоки обработки данных в масштабе. |
| Apache Beam | Унифицированная модель программирования с открытым исходным кодом, которая позволяет разработчикам определять и выполнять конвейеры пакетной и потоковой (непрерывной) обработки данных. |
| BladePipe | Сквозной инструмент интеграции данных в реальном времени с задержкой менее секунды, обеспечивающий бесперебойный поток данных между платформами. |
| dbt | Позволяет аналитическим инженерам преобразовывать данные в своих хранилищах, просто записывая операторы SELECT. |
| dlt | Библиотека с открытым исходным кодом, которую можно добавить в Python-скрипты для загрузки данных из различных, часто неструктурированных источников в хорошо структурированные, актуальные датасеты. |
| Estuary | Платформа данных right-time, обеспечивающая ETL-конвейеры с задержкой в миллисекунды и гибкими вариантами развертывания. |
| Fivetran | Автоматизированная платформа перемещения данных, которая переносит данные из, в и между вашими облачными платформами данных. |
| NiFi | ПО для управления рабочими процессами с открытым исходным кодом, предназначенное для автоматизации потоков данных между программными системами. |
| Vector | Высокопроизводительный конвейер данных для обсервабилити, который дает организациям контроль над их данными обсервабилити. |
