Skip to main content

Table Topic 快速开始

Table Topic 是 AutoMQ 面向现代数据湖架构设计的核心功能，其核心作用在于实现流式数据与静态数据湖的无缝集成，通过架构创新解决传统流批分离、ETL 复杂、成本高昂等问题。本文档面向首次体验 AutoMQ 的新用户，重点介绍如何在本地开发环境中部署支持 Table Topic 的 AutoMQ集群（通过部署 MinIO 提供对象存储服务），用户快速体验 Table Topic 的特性功能。

本文档仅适用于测试和学习场景，生产环境使用 Table Topic 功能，请参考Linux 主机部署多节点集群▸等部署文档。

前置条件​

  • Linux/Mac/Windows Subsystem for Linux

  • Docker

  • Docker Compose 版本 > 2.22.0

  • 8GB 以上空闲内存

安装并启动 AutoMQ 集群​

输入下方命令即可下载单节点部署方案的 docker-compose 配置文件，并通过 Docker Compose 启动单节点的 AutoMQ 集群。


curl -O https://raw.githubusercontent.com/AutoMQ/automq/refs/tags/1.5.0/docker/table_topic/docker-compose.yml && docker-compose up -d

启动成功后，我们将通过发送 Table Topic消息、Spark sql进行查询，来体验表自动创建、表查询和更新、Schema 变更、数据分区和 CDC 的能力。用户可以在浏览器中打开 http://localhost:8888 通过 Jupyter Notebook 逐步点击执行进行自助体验。

创建表​

NoteBook 中的前三步完成 Table Topic 创建、已经写入一条消息数据并触发生成 IceBerg 表的生成。

查询数据​

注意：

从消息写入到数据入表，存在一定延迟，如果查询出现报错，建议稍后再次重试查询。

更新记录​

查询更新结果，数据 ops 从 I 变成了 U 。

删除数据​

查询删除结果，记录变为空。

删除表​

停止并卸载 AutoMQ 集群​

完成功能测试后，请运行以下命令以停止和卸载当前 AutoMQ 集群。


curl -O https://raw.githubusercontent.com/AutoMQ/automq/refs/tags/1.5.0/docker/table_topic/docker-compose.yml && docker-compose down -v

详细参数配置请参见 Table Topic 配置▸ 章节。