锐客网

  1. 首页 > 睿知 > it技术 > >

消息队列|MQ的分类与选型

java大数据Kafka消息队列MQ的分类与选型

MQ分类 1.ActiveMQ优点：单机吞吐量万级，时效性 ms 级，可用性高，基于主从架构实现高可用性，消息可靠性较低的概率丢失数据缺点: 官方社区现在对ActiveMQ 5.x维护越来越少，高吞吐量场景较少使用 。2.Kafka大数据的杀手锏，谈到大数据领域内的消息传输，则绕不开 Kafka ，这款为 大数据而生的消息中间件，以其 百万级TPS 的吞吐量名声大噪，迅速成为大数据领域的宠儿，在数据采集、传输、存储的过程中发挥着举足轻重的作用。目前已经被LinkedIn ， Uber, Twitter, Netflix等大公司所采纳。优点:性能卓越，单机写入TPS约在百万条 / 秒，最大的优点，就是吞 吐量高 。时效性ms 级可用性非常高， kafka是分布式的，一个数据多个副本，少数机器宕机，不会丢失数据，不会导致不可用 ,消费者采用Pull方式获取消息 ,消息有序 ,通过控制能够保证所有消息被消费且仅被消费一次 ; 有优秀的第三方Kafka Web管理界面Kafka-Manager；在日志领域比较成熟，被多家公司和多个开源项目使用；功能支持： 功能较为简单，主要支持简单的MQ功能，在大数据领域的实时计算以及 日志采集 被大规模使用缺点：Kafka单机超过64个队列 / 分区， Load会发生明显的飙高现象，队列越多，load 越高，发送消息响应时间变长，使用短轮询方式，实时性取决于轮询间隔时间，消费失败不支持重试；支持消息顺序，但是一台代理宕机后，就会产生消息乱序， 社区更新较慢 ；3.RocketMQRocketMQ 出自阿里巴巴的开源产品，用Java语言实现，在设计时参考了Kafka，并做出了自己的一些改进。被阿里巴巴广泛应用在订单，交易，充值，流计算，消息推送，日志流式处理， binglog 分发等场景。优点: 单机吞吐量十万级 , 可用性非常高，分布式架构 , 消息可以做到0丢失 , MQ 功能较为完善，还是分布式的，扩展性好 , 支持10亿级别的消息堆积 ，不会因为堆积导致性能下降 , 源码是java 我们可以自己阅读源码，定制自己公司的MQ缺点：支持的客户端语言不多 ，目前是java及c++ ，其中c++ 不成熟；社区活跃度一般 , 没有在MQ核心中去实现JMS等接口 , 有些系统要迁移需要修改大量代码4.RabbitMQ2007 年发布，是一个在 AMQP( 高级消息队列协议 ) 基础上完成的，可复用的企业消息系统，是 当前最 主流的消息中间件之一 。优点: 由于erlang语言的 高并发特性 ，性能较好； 吞吐量到万级 ， MQ功能比较完备 ,健壮、稳定、易用、跨平台、 支持多种语言如： Python 、 Ruby 、 .NET 、 Java 、 JMS 、 C 、 PHP 、 ActionScript 、 XMPP 、STOMP等，支持AJAX文档齐全；开源提供的管理界面非常棒，用起来很好用 , 社区活跃度高；更新频率相当高 https://www.rabbitmq.com/news.html缺点：商业版需要收费, 学习成本较高 MQ选型 1. KafkaKafka 主要特点是基于 Pull 的模式来处理消息消费，追求高吞吐量，一开始的目的就是用于日志收集和传输，适合产生 大量数据 的互联网服务的数据收集业务。 大型公司 建议可以选用，如果有 日志采集功能，肯定是首选kafka了。 2. RocketMQ天生为金融互联网领域而生，对于可靠性要求很高的场景，尤其是电商里面的订单扣款，以及业务削峰，在大量交易涌入时，后端可能无法及时处理的情况。 RoketMQ 在稳定性上可能更值得信赖，这些业务场景在阿里双11已经经历了多次考验，如果你的业务有上述并发场景，建议可以选择RocketMQ 。3. RabbitMQ结合 erlang语言本身的并发优势，性能好 时效性微秒级 ， 社区活跃度也比较高，管理界面用起来十分方便，如果你的 数据量没有那么大 ，中小型公司优先选择功能比较完备的RabbitMQ 。

    推荐阅读


    上一篇：SpringCloud|RestTemplate 用法详解

    下一篇：springCloud|SpringCloud——Ribbon详解+例子