概述
为了避免生产环境中因行为定义不明确而导致各种边缘状况,AutoMQ Cloud 对产品范围内的参数、配额和行为等做出约束和规范。用户在使用过程中需要注意不要打破约束,如有约束不满足实际使用场景,请及时提工单寻求帮助,参考获取人工服务▸ 。参数类限制
以下参数中各资源的命名及备注类限制值不支持调整,请严格按照规范设置,避免因出现特殊字符或长度超限导致系统处理异常。公共参数限制
实例名称 |
| 名称和备注应该尽量使用简洁、常用的短语和简写标识,避免使用特殊字符造成显示的异常。 |
实例备注 |
| |
环境成员名 |
| |
环境成员密码 |
| |
集成名称 |
| |
迁移名称 |
|
实例级配置
log.retention.ms 消息保存时长 |
| 消息保存时长背后影响了存储空间的消耗和成本,建议业务合理评估。如有不满足,请
获取人工服务▸
寻求帮助。 |
message.max.bytes 消息大小上限 |
| 如果当前参数限制不满足需求,请
获取人工服务▸
寻求帮助。 |
offsets.retention.minutes 消费进度保存时长 |
| |
fetch.max.bytes 单次拉取数据上限 |
| |
单分区写入吞吐上限 |
| 单分区读写吞吐存在限制,建议应用使用不同的消息 key 将读写压力分摊到不同的分区上,避免分区热点。请
获取人工服务▸
寻求帮助。 |
单分区读取吞吐上限 |
| |
auto.create.topics.enable 自动创建 Topic 开关 |
| 自动创建 Topic 开关建议关闭,通过管控系统和 Admin API 管理所有的 topic,避免topic 无法管理。 |
num.partitions 默认创建 Topic 分区数 |
| 默认创建 Topic 分区数在使用自动创建 Topic 时使用,建议在集群粒度合理设置,避免自动创建 Topic 消耗过多的分区数额度。 |
automq.zone.cidr.blocks 客户端来源 CIDR 可用区标识 |
| 服务端根据客户端来源 IP 匹配当前规则设置的 CIDR,确认该客户端对应的可用区。该配置用于优化消除客户端跨可用区传输流量。CIDR 标识的格式规范是{zoneId}@{cidr}<>{zoneId}@{cidr}。不同的可用区之间用 “<>” 分隔。分隔,相同可用区标识下多个 CIDR 段之间用 “,” 分隔。 举例:
|
Topic 级配置
compression.type |
| 设置 Topic 的最终压缩类型。该配置支持(‘gzip’, ‘snappy’, ‘lz4’, ‘zstd’);除上述配置选项还支持 ‘uncompressed’,相当于没有压缩;‘producer’配置值指的是保留生产者配置的压缩类型。 |
cleanup.policy 消息清理策略 |
| 大部分业务场景推荐使用 delete 类型,仅在保留状态数据的场景使用 compact 类型。 |
retention.ms |
| 设置 topic 自定义消息保存时长,仅针对清理策略为 delete 类型的 topic 有效,该配置会覆盖集群默认的配置。 |
max.message.bytes |
| 设置当前 Topic 允许的record batch 大小上限,发送超过该限制的消息将被拒绝。 |
message.timestamp.type |
| 定义消息中的时间戳是消息创建时间还是日志追加时间。该值应该是’ create time ‘或’ log append time ‘。 |
retention.bytes |
| 针对 delete 类型清理策略的 topic 生效,控制每个分区数据保留的空间上限。默认情况下,没有大小限制,只有时间限制。此限制是在分区级别,因此将其乘以分区数量以计算 topic 级别的保留空间。该配置会覆盖集群默认配置。 |
delete.retention.ms |
| 设置 为 Compact 类型 Topic 保留删除墓碑标记的时间,仅针对 Compact 类型 Topic 生效。该配置约定了消费者必须在此时间内读取消息才有可能获取最后的有效快照,否则消费者将可能读取到不完整的数据。 |
Topic 命名 |
| 无。 |
Topic 备注 |
| |
automq.table.topic.enable |
| 设置是否启用 AutoMQ Table Topic。启用后,将创建 Iceberg Table,用于存储 AutoMQ Table 数据。 |
automq.table.topic.commit.interval.ms |
| 设置 AutoMQ Table Topic 的数据提交间隔时间。提交间隔越短,数据实时性越高,相应的处理成本也会增加,反之亦然。 |
automq.table.topic.namespace |
| Table Topic 在 Catalog 下的 Namespace。 |
automq.table.topic.upsert.enable |
| 控制是否启用 Table Topic 的 Upsert 功能。开启后,系统会根据主键自动判断是插入新记录还是更新已有记录。 |
automq.table.topic.partition.by |
| 定义 Table Topic 的分区规则,通过字段或函数对数据进行分区。例如 [bucket(name, 3), month(timestamp)] 表示先按 name 字段的哈希分桶,再按 timestamp 的月份分区。 |
automq.table.topic.id.columns |
| 指定表的唯一主键列(复合主键),用于标识行级数据。值为以逗号分隔的列组合,例如 [region, name] 表示联合主键由 region 和 name 列组成。 |
automq.table.topic.cdc.field |
| 指定记录 CDC(Change Data Capture)操作类型的字段名称。用于标识数据库变更操作类型,值为单个字符 I 、 U 或 D ,分别对应数据的插入、更新和删除动作。 |
automq.table.topic.schema.type |
| 支持两种模式: schemaless (不解析消息内容,仅根据 Kafka 消息本身的 Schema 写入)和 schema (需在 schema registry 预定义消息 value 的 Schema,并根据该 Schema 写入到 Iceberg 中)。 |
资源配额限制
AutoMQ Cloud 基于大规模生产环境的运维经验考虑,对产品内部分性能指标和参数做了初始约束,大部分情况下默认约束范围都是满足需求的,如有特殊情况不满足,请及时提工单寻求帮助。环境类公共资源配额限制
单环境内允许的产品实例总数量 | 参考订阅计划版本约束 | 如当前限制有不满足,通过工单寻求帮助
获取人工服务▸
。 |
单环境内成员账号数量 | 100 个 |
实例配额限制
AutoMQ Cloud 基于大规模生产环境的运维经验考虑,对产品内部分性能指标和参数做了初始约束,大部分情况下默认约束范围都是满足需求的,如有特殊情况不满足,请及时提工单寻求帮助。单实例(集群)计算规格 | 3AKU ~ 500AKU,提供如下能力:
| 实例计算规格代表了单个实例(集群)收发消息处理的吞吐能力上限。 如有更大规模集群诉求,请 获取人工服务▸ 申请开放高规格限制。 |
单实例 Topic 数量上限 | 由创建实例的计算规格决定,具体参考规格限制
BYOC 计费说明▸
。 | 从安全性和稳定性考虑,建议将不同业务拆分到不同实例中,避免所有业务集中在单个实例中。 |
单实例(集群)分区数上限 | ||
单实例(集群)请求 QPS 上限 |
BYOC 版开服区域限制
代码 | 名称 |
---|---|
us-east-1 | US East (N. Virginia) |
us-east-2 | US East (Ohio) |
us-west-1 | US West (N. California) |
us-west-2 | US West (Oregon) |
af-south-1 | Africa (Cape Town) |
ap-east-1 | Asia Pacific (Hong Kong) |
ap-south-2 | Asia Pacific (Hyderabad) |
ap-southeast-3 | Asia Pacific (Jakarta) |
ap-southeast-5 | Asia Pacific (Malaysia) |
ap-southeast-4 | Asia Pacific (Melbourne) |
ap-south-1 | Asia Pacific (Mumbai) |
ap-northeast-3 | Asia Pacific (Osaka) |
ap-northeast-2 | Asia Pacific (Seoul) |
ap-southeast-1 | Asia Pacific (Singapore) |
ap-southeast-2 | Asia Pacific (Sydney) |
ap-northeast-1 | Asia Pacific (Tokyo) |
ca-central-1 | Canada (Central) |
ca-west-1 | Canada West (Calgary) |
cn-north-1 | China (Beijing) |
cn-northwest-1 | China (Ningxia) |
eu-central-1 | Europe (Frankfurt) |
eu-west-1 | Europe (Ireland) |
eu-west-2 | Europe (London) |
eu-south-1 | Europe (Milan) |
eu-west-3 | Europe (Paris) |
eu-south-2 | Europe (Spain) |
eu-north-1 | Europe (Stockholm) |
eu-central-2 | Europe (Zurich) |
il-central-1 | Israel (Tel Aviv) |
me-south-1 | Middle East (Bahrain) |
me-central-1 | Middle East (UAE) |
sa-east-1 | South America (São Paulo) |