跳转到主要内容
Kafka Connect 插件是用于在 Kafka 与其他系统间流式传输数据的组件集合,通常封装了特定数据处理场景下的连接器(Connector)、数据转换(Transform)和转换器(Converter)等工具包。 AutoMQ 托管 Kafka Connect 服务内置了若干经过官方测试和验证的系统插件。同时,为了满足多样化的数据集成需求,AutoMQ 也支持用户上传和管理自定义插件。

查看插件列表

用户可通过插件列表查看当前环境中所有可用的系统插件和自定义插件。 操作流程:
  1. 登录 AutoMQ 控制台。
  2. 在左侧导航栏中,点击 Kafka Connect 菜单。
  3. 默认进入 插件 列表页面。
在此页面,您可以看到所有已集成的系统插件,这些插件可直接用于创建 Connect 任务。如果系统插件无法满足您的特定需求,您可以从第三方社区下载插件,或自行开发并上传。

上传自定义插件

当需要使用官方未提供的插件时,您可以通过控制台上传自定义插件。 操作流程:
  1. 插件 列表页面,点击右上角的 上传自定义插件 按钮。
  2. 在弹出的对话框中,按照提示上传您准备好的插件包。
  3. 系统将对上传的插件包进行预检测和格式校验。
  4. 校验通过后,点击 确认,即可完成插件的上传。
插件包约束条件:
  • 目录结构:插件包必须遵循社区标准的 Kafka Connect 插件目录结构,并以 .zip 格式进行打包分发。
  • 大小限制:上传的 .zip 插件包大小不得超过 200 MiB。

删除自定义插件

当您不再需要某个自定义插件的特定版本时,可以选择将其删除以释放资源和简化管理。 操作流程:
  1. 插件 列表页面,找到需要删除的自定义插件。
  2. 点击对应插件右侧的 删除 按钮。
  3. 在确认对话框中完成操作。
请注意以下约束:
  • 系统插件:不允许被删除。
  • 使用中的插件:如果一个插件(或其任何版本)正在被一个或多个 Connect 任务使用,则无法删除,必须先停止并删除相关任务。

更新插件

当社区发布了新版本的插件,或者您自己的自定义插件有了新版本时,可以通过上传新版本来完成更新。 操作流程: 更新插件的操作流程与上传自定义插件完全相同。AutoMQ 托管 Kafka Connect 服务支持同一插件的多个版本并存,不同版本之间相互独立,互不影响。您可以在创建 Connect 任务时,根据需要选择使用特定版本的插件。