阿里云
阿里云多端小程序中小企业获客首选
发表主题 回复主题
  • 3340阅读
  • 0回复

[ECS]Kafka、RabbitMQ、RocketMQ 消息中间件的对比 | 消息发送性能篇

级别: 论坛版主
发帖
131
云币
630
阿里消息队列测试小组 出品 0 /U{p,r6`  
cR<fJ[*  
分布式系统中,我们广泛运用消息中间件进行系统间的数据交换,便于异步解耦。现在开源的消息中间件有很多,我们家的产品 RocketMQ (阿里云消息队列(MQ)的内核) 也顺利开源,得到大家的关注。 "@0]G<H  
f 6>b|k~  
那么,消息中间件性能究竟哪家强? hhc,uJ">!  
+',S]Edx  
带着这个疑问,我们消息队列测试小组对常见的三类消息产品(Kafka、RabbitMQ、RocketMQ)做了性能比较。 &d^m 1  
#.)0xfGW)n  
Kafka是LinkedIn开源的分布式发布-订阅消息系统,目前归属于Apache定级项目。Kafka主要特点是基于Pull的模式来处理消息消费,追求高吞吐量,一开始的目的就是用于日志收集和传输。0.8版本开始支持复制,不支持事务,对消息的重复、丢失、错误没有严格要求,适合产生大量数据的互联网服务的数据收集业务。 @`- 4G2IU}  
R!gEwTk  
RabbitMQ是使用Erlang语言开发的开源消息队列系统,基于AMQP协议来实现。AMQP的主要特征是面向消息、队列、路由(包括点对点和发布/订阅)、可靠性、安全。AMQP协议更多用在企业系统内,对数据一致性、稳定性和可靠性要求很高的场景,对性能和吞吐量的要求还在其次。 w_K1]<Q*  
$B5aje}i  
RocketMQ是阿里开源的消息中间件,它是纯Java开发,具有高吞吐量、高可用性、适合大规模分布式系统应用的特点。RocketMQ思路起源于Kafka,但并不是Kafka的一个Copy,它对消息的可靠传输及事务性做了优化,目前在阿里集团被广泛应用于交易、充值、流计算、消息推送、日志流式处理、binglog分发等场景。 w%jII{@,  
Z,Dl` w  
测试目的 sS'm!7*(3  
56kI 5:  
对比Kafka、RabbitMQ、RocketMQ发送小消息(124字节)的性能。这次压测我们只关注服务端的性能指标,所以压测的标准是: =MDys b&:  
5K8^WK  
不断增加发送端的压力,直到系统吞吐量不再上升,而响应时间拉长。这时服务端已出现性能瓶颈,可以获得相应的系统最佳吞吐量。 srrgvG,  
.Rs^YZF  
测试场景 M&9+6e'-F  
HvJs1)Wo&  
+Q"4Migbe@  
dJNe+ MB`  
在同步发送场景中,三个消息中间件的表现区分明显: Ry6@VQ"NLb  
$suzW;{#  
Kafka的吞吐量高达17.3w/s,不愧是高吞吐量消息中间件的行业老大。这主要取决于它的队列模式保证了写磁盘的过程是线性IO。此时broker磁盘IO已达瓶颈。 "b3"TPfK  
uiR8,H9*M  
RocketMQ也表现不俗,吞吐量在11.6w/s,磁盘IO %util已接近100%。RocketMQ的消息写入内存后即返回ack,由单独的线程专门做刷盘的操作,所有的消息均是顺序写文件。 &E5g3lf  
}9}h*RWm  
RabbitMQ的吞吐量5.95w/s,CPU资源消耗较高。它支持AMQP协议,实现非常重量级,为了保证消息的可靠性在吞吐量上做了取舍。我们还做了RabbitMQ在消息持久化场景下的性能测试,吞吐量在2.6w/s左右。 @*KZ}i@._  
5">Z'+8  
测试结论 5M*:}*  
)irEM  
在服务端处理同步发送的性能上,Kafka>RocketMQ>RabbitMQ。 A_q3KB!$=+  
/R wjCUf  
作为专业的阿里云消息队列测试小组,不禁想问,阿里云的MQ和Kafka相比,哪家强? r$s Qf&=  
kc`Tdn  
阿里云消息队列 Kafka VS Apache Kafka &\*(Q*2N  
9V*qQS5<p  
阿里云消息队列 MQ 推出 Kafka 企业级消息服务(MQ-Kafka),全面融合 Kafka 开源生态,兼容 Kafka API,做到无缝迁移,打造更安全、更可靠、更易运维的 Kafka 企业级消息服务。 ,.FxIl ]  
][Rh28?I{  
n,WqyNt*  
测试小组此次也对Apache Kafka和消息队列 Kafka 企业级消息服务在性能、可用性、可靠性等方面做了如下对比: Yr[\|$H5  
对比项Apache Kafka(开源)阿里云 MQ-Kafka
安全防护×
主子账号支持×
性能(常规)非常好非常好
性能(万级Topic情况下)非常好
性能(海量消息堆积情况下)非常好
可靠性一般非常好,99.99999999%
可用性非常好,99.99%,Always Writable
全链路消息轨迹×
消息堆积查询×
消息回溯×
服务支持用户自己运维阿里云平台统一运维
draN0v f  
PB\x3pV!}  
阿里云 MQ-Kafka 的多方优势: ?m"( S oh  
Q>Yjy!. <^  
无缝迁移 1=Z0w +v{  
c'yxWZEv  
业务系统基于现有的 Kafka 代码与生态进行开发,无需任何改造,即可无缝迁移到阿里云消息队列提供的 Kafka 消息服务。 '?(% Zxw%&  
TAW/zpps$  
安全防护 XU(eEnmo m  
Q>i^s@0  
Aliware MQ 提供的 Kafka 消息服务利用 SASL 机制对用户身份进行认证,并利用 SSL 对通道进行加密,提供更加安全的消息服务。 U&p${IcEm  
HLG"a3tt  
高可靠/高可用 r mg}N  
H"WprHe  
消息持久化落盘到消息队列,支持数多副本以及主备自动切换,可靠性达99.99999999%,服务可用性高达99.9%。 P+/e2Y  
$1`2 kM5  
高性能 $*fMR,~t&  
[`7ThHX  
支持在万级 Topic,以及海量的消息堆积的情况下,也始终保持超高的性能。 o&$A]ph8X  
{3aua:q  
统一运维 H9e<v4 c  
11;MN  
提供一整套包括资源申请、资源授权、消息堆积查询、消息全链路轨迹、监控告警等运维服务,提升用户的产品体验。 +52{-a,>  
U # qK.  
消息互通 brUF6rQ  
Qzw;i8n{  
您可以通过 Kafka Client 发送消息,MQ Client 订阅消息。反之亦然,真正做到 Aliware MQ 与 Kafka 消息完全互通。 Z(CkZll  
e$rZ5X  
免费试用 t*w/{|yO  
R (n2A$  
Kafka 企业级消息服务正在公测,用户可免费使用。 wk_@R=*(\  
Otn1wBI  
立刻去了解Kafka的接入方式吧,无语伦比的简单~而且现在还免费哟~ ^^ixa1H<  
/N.U/MPL_  
关于 阿里云消息队列 MQ,立即查看详情~ 6.yu-xm  
发表主题 回复主题
« 返回列表上一主题下一主题

限100 字节
如果您提交过一次失败了,可以用”恢复数据”来恢复帖子内容
 
验证问题: ECS是阿里云提供的什么服务? 正确答案:云服务器
上一个 下一个
      ×
      全新阿里云开发者社区, 去探索开发者的新世界吧!
      一站式的体验,更多的精彩!
      通过下面领域大门,一起探索新的技术世界吧~ (点击图标进入)