基于云原生重新设计 Apache Kafka®

带来 10 倍的成本优势

AutoMQ Cloud,多云原生,现已上线主流云厂商。

从依赖硬件转变为依赖服务

Apache Kafka 诞生于 IDC 时代,针对物理硬件设计。在云计算时代,软件定义了硬件,并提供了高可用、高可靠的服务级别协议保障。利用云服务构建 Kafka,无需自行实现复杂的分布式多副本复制协议,架构更简洁,成本更低。

将资源预留方式转变为按量付费方式

物理服务器的交付周期通常以月为单位计算。因此,企业通常会按年度预算来规划全年的计算资源,这也导致十年前的软件设计基于预留资源。然而,在今天的云环境中所有资源都可以通过 API 调用来创建,AutoMQ 采用了最优云资源选择以实现最优性价比。
存储成本
257.4 美元/月
2095.7 美元/月
计算成本
201.5 美元/月
3054.3 美元/月
AutoMQ
Apache Kafka
* 该数据基于 80MB/s 到 1200MB/s 的工作负载进行测试。
10x
比 Apache Kafka 便宜
12x
比 Apache Kafka 便宜

在共享存储架构下,扩缩容操作无需数据复制

在共享存储架构中,分区的数据完全存储在 S3 上,当对集群扩容时不需要数据复制即能快速应对突发的流量洪峰。相反,Apache Kafka 在扩容后需要大量的带宽用于数据复制,无法应对突发流量。

从人治走向自治

过去,软件架构需要依赖人为的稳定性防护手段来确保业务连续性,如容量评估、稳定性预案和限流降级。如今,借助云原生技术可以实现自动扩缩容、自动流量平衡和自动故障恢复,系统变得更加自治和高效。
Apache Kafka
流量上涨
流量到达峰值
业务受损
AutoMQ
流量上涨
流量到达峰值
自动扩容
业务持续

将存储分离至服务,而非软件

存储与计算分离是实现弹性的关键。通过将存储卸载至云服务,可以显著降低运维复杂度,同时实现状态完全分离,使架构变得更加简洁。如果分离出一套分布式的存储系统,将会显著增加运维复杂度。

Shared Everything 架构在云原生环境中极具优势

在过去,不同硬件类型之间存在着很多限制,因此 Shared Nothing 架构被视为一种无奈之举。然而,如今存储已变得非常灵活,并且容量几乎可以看作是“无限”的。利用共享存储 S3 实现存算分离架构,可以轻松实现分区迁移、扩缩容等操作。
数据重平衡
1 分钟
43 小时
分区迁移
1.5 秒
3 小时
AutoMQ
Apache Kafka
* 该数据基于 100MB/s 写入速率并保存 30 天的工作负载进行测试。

与整个计算层兼容,而非仅限于 API 级兼容

软件产品的定义主要体现在计算层。Kafka 十多年的发展历程中,发布了多个大版本,生产者发布消息的 API 经历了数十次的版本迭代。为了实现完全兼容,需要尽可能多地复用 Kafka 代码。AutoMQ 利用原生的 Kafka 计算层和云原生的流存储库,通过找到最小的存储替换切入点,实现了对 Kafka 功能的 100% 兼容。

与 Apache Kafka 最新版本的兼容最多滞后一个月

通过对 Apache Kafka 核心类 kafka.log.LogSegment 的重新实现,我们成功将 Kafka 存储迁移到对象存储,而几乎不需要修改 Kafka 的其他代码。AutoMQ 可做到在 Apache Kafka 的新版本发布后的一个月内完成适配,以确保与 Kafka 社区始终保持同步。
通过 387 项兼容性测试
支持全部 1000+ KIP
兼容 0.9.0.1 - 3.4.0 版本

真正按需扩展,无需多租户共享集群

传统 Kafka 方案为降低运营成本,多租户共享物理集群,这导致每个租户被限制无法占用过多的资源,以免影响其他租户。AutoMQ 仅使用 3 台 2c8g 机器即可提供高可用集群,并且可以按需扩展。因此,每个租户都可以独占专有集群,按需无限扩展。

无需担心“近邻干扰”效应

传统多租户场景采用多个租户共享一个大型 Kafka 集群的方案可能因少数租户的过量使用导致巨大的故障,影响其他租户。AutoMQ 利用云原生架构成功解决了这一问题,即使每个应用使用独立的 Kafka 集群,也能以最优成本运行,从而降低系统故障扩散范围。
流量平稳
租户2流量突增
流量平稳

成本白皮书

产品
计算
存储
合计
AutoMQ Kafka (AWS 宁夏)
2,516 元/月
3,115 元/月
5,631 元/月
自建 Apache Kafka(AWS 宁夏)
30,520 元/月
31,910 元/月
62,430 元/月
主流云厂商托管服务(阿里云-北京地域价格)
25,785 元/月
20,000 元/月
45,785 元/月
AWS 厂商托管服务 MSK
32,354 元/月
51,321 元/月
83,675 元/月
* 该数据基于 80MB/s 到 1200MB/s 的工作负载进行测试,点击了解详情。

选择产品

AutoMQ
社区版,BSL 协议,源码开放,自由安装
永久免费
100%兼容 Apache Kafka
秒级分区迁移
分钟级平滑扩缩容
存储完全按量使用
单副本高可用
原生支持多云
社区提供技术支持
AutoMQ Cloud
面向企业生产场景,由 AutoMQ 团队提供全托管云服务
联系我们
包含社区版所有功能
多指标持续数据重平衡
对象存储/块存储/多AZ/多地域/多云容灾
节点 Hang 主动容灾
多 EBS 多 WAL,多 Bucket 支持
多指标联动自动弹性
开箱即用 Web Console
Prometheus/Grafana/Alert 集成
支持 Terraform/K8s/REST API
全托管云服务
AutoMQ Enterprise
面向 IDC、私有化安装、自运维的 AutoMQ 商业发行版
联系我们
包含社区版所有功能
多指标持续数据重平衡
对象存储/块存储/多AZ/多地域/多云容灾
节点 Hang 主动容灾
多 EBS 多 WAL,多 Bucket 支持
多指标联动自动弹性
开箱即用 Web Console
Prometheus/Grafana/Alert 集成
支持 K8s/REST API
阿里云深知云原生技术的本质在于它的弹性、自动化和服务化。AutoMQ 作为一款真正的云原生 Kafka 解决方案,充分体现了这些理念。它利用 Spot 实例、块存储和对象存储等云基础设施服务重新发明了 Kafka,实现了十倍降本增效,这不仅是技术上的突破,也是云原生的价值体现。AutoMQ 通过与阿里云计算巢的联动,企业可以实现对云资源的更加智能化、自动化管理,同时享受按需的服务和成本效益,真正体现了云原生的灵活性和弹性。这正是阿里云所倡导的云原生应用的典范:因云而生,为云而优化,让客户的业务在云上腾飞。选择 AutoMQ,即选择了真正为云计算而生的、前沿的云原生技术力量。
张献涛
阿里云智能弹性计算产品线总经理
AutoMQ 的技术理念体现了下一代云原生产品的卓越设计。它的云原生架构和彻底的存算分离使 MQ 服务达到真正的无状态,Share Everything 做法使用对象存储作为主存储,不仅降低了存储成本,更是极大地提高了系统的伸缩性和可维护性,在面对日益增长的业务需求时,能够优雅的进行扩缩容操作,有效的缩短了运维时间,能更快的为业务变化提供响应。我相信 AutoMQ 将成为推动云原生时代中间件发展的关键力量。相信未来会有越来越多的基础软件像 AutoMQ 一样,彻底的云原生化。
李凯
美团中间件负责人
随着云计算的不断成熟与规模化应用,我们已经来到了一个带有全新软件设计理念的崭新时代。AutoMQ 正是在这一浪潮下诞生的、真正贴合云原生理念的公有云产品解决方案。它摒除了老一代消息队列架构面向“硬件”的软件架构设计思路,采用了全新的面向“服务”的设计理念,充分发挥云上低成本、高弹性、专业化的底层服务能力。AutoMQ 创新性地将 Spot 计算、块存储、对象存储等云基础设施进行整合,在成本、效能、弹性能力方面带来了极大的想象空间,获得10倍的降本增效。未来,各类企业与用户将可借助 AutoMQ 的云原生能力,充分享受云计算带来的社会福利,帮助业务实现更大突破。
张亿皓
小红书消息引擎专家

问答

进一步了解更多详情,
获取免费PoC和功能演示