基于云原生重新设计 Kafka®

带来 10 倍的成本优势

AutoMQ On-Prem 企业版,多云原生,现已上线主流云厂商。
压缩 Kafka 云资源账单至 1/10

从依赖硬件转变为依赖服务

Apache Kafka 诞生于 IDC 时代,针对物理硬件设计。在云计算时代,软件定义了硬件,并提供了高可用、高可靠的服务级别协议保障。利用云服务构建 Kafka,无需自行实现复杂的分布式多副本复制协议,架构更简洁,成本更低。

将资源预留方式转变为按量付费方式

物理服务器的交付周期通常以月为单位计算。因此,企业通常会按年度预算来规划全年的计算资源,这也导致十年前的软件设计基于预留资源。然而,在今天的云环境中所有资源都可以通过 API 调用来创建,AutoMQ 采用了最优云资源选择以实现最优性价比。
存储成本
257.4 美元/月
2095.7 美元/月
计算成本
201.5 美元/月
3054.3 美元/月
AutoMQ
Apache Kafka
* 该数据基于 80MB/s 到 1200MB/s 的工作负载进行测试。
10x
比 Apache Kafka 便宜
12x
比 Apache Kafka 便宜
服务零中断

在共享存储架构下,扩缩容操作无需数据复制

在共享存储架构中,分区的数据完全存储在 S3 上,当对集群扩容时不需要数据复制即能快速应对突发的流量洪峰。相反,Apache Kafka 在扩容后需要大量的带宽用于数据复制,无法应对突发流量。

从人治走向自治

过去,软件架构需要依赖人为的稳定性防护手段来确保业务连续性,如容量评估、稳定性预案和限流降级。如今,借助云原生技术可以实现自动扩缩容、自动流量平衡和自动故障恢复,系统变得更加自治和高效。
Apache Kafka
流量上涨
流量到达峰值
业务受损
AutoMQ
流量上涨
流量到达峰值
自动扩容
业务持续
秒级弹性

将存储分离至服务,而非软件

存储与计算分离是实现弹性的关键。通过将存储卸载至云服务,可以显著降低运维复杂度,同时实现状态完全分离,使架构变得更加简洁。如果分离出一套分布式的存储系统,将会显著增加运维复杂度。

Shared Everything 架构在云原生环境中极具优势

在过去,不同硬件类型之间存在着很多限制,因此 Shared Nothing 架构被视为一种无奈之举。然而,如今存储已变得非常灵活,并且容量几乎可以看作是“无限”的。利用共享存储 S3 实现存算分离架构,可以轻松实现分区迁移、扩缩容等操作。
数据重平衡
1 分钟
43 小时
分区迁移
1.5 秒
3 小时
AutoMQ
Apache Kafka
* 该数据基于 100MB/s 写入速率并保存 30 天的工作负载进行测试。
与 Apache Kafka 完全兼容

与整个计算层兼容,而非仅限于 API 级兼容

软件产品的定义主要体现在计算层。Kafka 十多年的发展历程中,发布了多个大版本,生产者发布消息的 API 经历了数十次的版本迭代。为了实现完全兼容,需要尽可能多地复用 Kafka 代码。AutoMQ 利用原生的 Kafka 计算层和云原生的流存储库,通过找到最小的存储替换切入点,实现了对 Kafka 功能的 100% 兼容。

与 Apache Kafka 最新版本的兼容最多滞后一个月

通过对 Apache Kafka 核心类 kafka.log.LogSegment 的重新实现,我们成功将 Kafka 存储迁移到对象存储,而几乎不需要修改 Kafka 的其他代码。AutoMQ 可做到在 Apache Kafka 的新版本发布后的一个月内完成适配,以确保与 Kafka 社区始终保持同步。
通过 387 项兼容性测试
支持全部 1000+ KIP
兼容 0.9.0.1 - 3.4.0 版本
集群从小到大,真正按需扩展

真正按需扩展,无需多租户共享集群

传统 Kafka 方案为降低运营成本,多租户共享物理集群,这导致每个租户被限制无法占用过多的资源,以免影响其他租户。AutoMQ 仅使用 3 台 2c8g 机器即可提供高可用集群,并且可以按需扩展。因此,每个租户都可以独占专有集群,按需无限扩展。

无需担心“近邻干扰”效应

传统多租户场景采用多个租户共享一个大型 Kafka 集群的方案可能因少数租户的过量使用导致巨大的故障,影响其他租户。AutoMQ 利用云原生架构成功解决了这一问题,即使每个应用使用独立的 Kafka 集群,也能以最优成本运行,从而降低系统故障扩散范围。

成本白皮书

产品
计算
存储
合计
AutoMQ Kafka (AWS 宁夏)
2,516 元/月
3,115 元/月
5,631 元/月
自建 Apache Kafka(AWS 宁夏)
30,520 元/月
31,910 元/月
62,430 元/月
主流云厂商托管服务(阿里云-北京地域价格)
25,785 元/月
20,000 元/月
45,785 元/月
AWS 厂商托管服务 MSK
32,354 元/月
51,321 元/月
83,675 元/月
* 该数据基于 80MB/s 到 1200MB/s 的工作负载进行测试,点击了解详情。
个人版
面向个人开发者测试
永久免费
支持 1 个安装副本
支持 1 个集群组
支持 2 个集群
数据保存 3 天
专家诊断
系统巡检
风险治理
SLI 大盘
SLO 管理
标准版
面向中小企业生产环境
限时五折
12000元/年
含个人版所有功能
支持 5 个安装副本
支持 10 个集群
自定义保存时间
事件审计
风险 + SLO 告警
多用户管理
RBAC认证
企业工单支持
企业版
面向超大型企业深度定制和服务
联系我们
含标准版所有功能
支持 50 个安装副本
支持 50 个集群组
支持 100 个集群
SSO 登录集成
事件 + Metrics 集成
集群性能调优
一对一专家支持
产品接入咨询
企业架构风险咨询

RocketMQ Copilot 版本差异

能力项目
个人版
标准版
企业版
安装部署
安装副本数
1次
5次
50次
集群组数量(NameServer集群)
1个
5个
50个
集群数量(Broker 集群)
22次
10次
100次
数据保留时间
最长 3 天
自定义保留时间
自定义保留时间
安装副本数
1次
5次
50次
360 系统巡检
集群风险巡检
Topic 风险巡检
ConsumerGroup 风险巡检
风险治理
事件审计
风险告警
专家诊断
问题自助诊断
诊断报告分享
集群治理
SLI 分析
SLO 管理
SLO 报警
容量规划
性能压测
风险告警
自动化集成
运维 API 集成
事件集成
Metrics 集成
安全认证
多用户支持
RBAC 控制
基于 SAML 单点登录 (SSO)
专家服务
服务支持渠道
标准工单服务
一对一专家服务
专家重点护航
· 产品接入咨询
· 业务架构咨询
· 集群风险系统梳理
· 业务窗口护航
开源版
面向开源开发者测试,自行部署场景
永久免费
100%兼容 Apache Kafka
秒级分区迁移
自动流量重平衡
分钟级平滑扩缩容
单副本高可用
存储完全按量使用
社区提供服务支持
标准版
面向大规模生产环境,提供全托管服务
联系我们
含开源版所有功能
对象存储多 Region 容灾/块存储容灾/多云容灾
流量自适应跟踪/ Cron 定时弹性策略支持
大规模 Spot 实例/云账单自动优化
开箱即用控制台/支持集群平滑迁移
事件/Metrics/运维 API 集成
Metrics大盘/监控告警
SSO/LDAP/AD 集成认证
企业工单和专家护航服务

深受行业领袖喜爱

阿里云深知云原生技术的本质在于它的弹性、自动化和服务化。AutoMQ 作为一款真正的云原生 Kafka 解决方案,充分体现了这些理念。它利用 Spot 实例、块存储和对象存储等云基础设施服务重新发明了 Kafka,实现了十倍降本增效,这不仅是技术上的突破,也是云原生的价值体现。AutoMQ 通过与阿里云计算巢的联动,企业可以实现对云资源的更加智能化、自动化管理,同时享受按需的服务和成本效益,真正体现了云原生的灵活性和弹性。这正是阿里云所倡导的云原生应用的典范:因云而生,为云而优化,让客户的业务在云上腾飞。选择 AutoMQ,即选择了真正为云计算而生的、前沿的云原生技术力量。
张献涛
阿里云智能弹性计算产品线总经理
AutoMQ 的技术理念体现了下一代云原生产品的卓越设计。它的云原生架构和彻底的存算分离使 MQ 服务达到真正的无状态,Share Everything 做法使用对象存储作为主存储,不仅降低了存储成本,更是极大地提高了系统的伸缩性和可维护性,在面对日益增长的业务需求时,能够优雅的进行扩缩容操作,有效的缩短了运维时间,能更快的为业务变化提供响应。我相信 AutoMQ 将成为推动云原生时代中间件发展的关键力量。相信未来会有越来越多的基础软件像 AutoMQ 一样,彻底的云原生化。
李凯
美团中间件负责人
随着云计算的不断成熟与规模化应用,我们已经来到了一个带有全新软件设计理念的崭新时代。AutoMQ 正是在这一浪潮下诞生的、真正贴合云原生理念的公有云产品解决方案。它摒除了老一代消息队列架构面向“硬件”的软件架构设计思路,采用了全新的面向“服务”的设计理念,充分发挥云上低成本、高弹性、专业化的底层服务能力。AutoMQ 创新性地将 Spot 计算、块存储、对象存储等云基础设施进行整合,在成本、效能、弹性能力方面带来了极大的想象空间,获得10倍的降本增效。未来,各类企业与用户将可借助 AutoMQ 的云原生能力,充分享受云计算带来的社会福利,帮助业务实现更大突破。
张亿皓
小红书消息引擎专家

生态集成

问答