跳转到主要内容
Kafka Connect 是 Apache Kafka 社区提供的数据 ETL 框架,用于在 Apache Kafka 和其他数据系统之间流式传输数据。AutoMQ BYOC 版提供了全托管 Kafka Connect 服务,旨在进一步降低用户的使用门槛和运维成本。 AutoMQ 托管 Kafka Connect 无需客户自行安装部署 Connect 框架,仅需在 AutoMQ 控制台或者使用 Terraform 创建 Connector 任务,底层由 AutoMQ 控制台负责启动 Connect Worker 和 Connector 任务。 其中,Connect Worker 直接部署在用户指定的 VPC 内的 EKS 集群中,确保数据在用户的网络环境中流动,兼顾了安全性和托管的便利性。
  • 网络依赖:AutoMQ Connect 运行在用户 VPC 内的 EKS(Amazon Elastic Kubernetes Service)集群。Connect Worker 作为 Pod 部署在 EKS 中,可以直接访问用户 VPC 内的其他资源(如 RDS、Redis 等),无需复杂的网络配置。
  • 运行时隔离:为了保证稳定性和安全性,每个自定义插件都将运行在独立的 Worker 节点上,避免了因单个插件的缺陷或资源消耗过高而影响整个 Connect 集群的稳定性。

相关操作文档