用go语言开发消息中间件 go语言开发的消息队列

golangchannel和mq的区别golangchannel和mq用go语言开发消息中间件的区别
我是一个着迷于产品和运营的技术人用go语言开发消息中间件,乐于跨界的终身学习者 。欢迎关注我哟~
每周五12点 按时送达~
我的第「218」篇原创敬上
大家好,我是Z哥 。
最近在项目中遇到用go语言开发消息中间件了一个使用 RabbitMQ 时的问题,这个问题我觉得还是有一定普适性的 , 和大家分享一下,避免大家后续在同一个问题上犯错 。
消息队列(MQ)是在软件开发中很常用的中间件,如果一个程序需要协调另一个程序进行数据的“write”操作 , 并且不关心“write”的结果,则便会选择它 。它是一个保存消息(数据)的容器 , 由它来确保消息一定被送达到目标程序 。
打个比喻来说,消息队列就是一个邮差 , 它负责将信件(消息)从源头送往目的地,并且根据信件重要性的不同,提供当面签收确认或者直接投放两种服务 。
RabbitMQ 就是一个典型的消息队列,以 AMQP 为标准 。历史也比较悠久,大概是从 2007年研发出来的,用的编程语言Erlang也同样具有年代感 。
需要简单介绍一下 Erlang 的特点,它对我们理解 RabbitMQ 有很大的帮助 。
Erlang 是一种运行于“虚拟机”(类似 JVM)的解释性语言 。是一个结构化,动态类型编程语言 , 内建并行计算支持 。使用 Erlang 编写出的应用运行时通常由成千上万个轻量级“进程”(并非传统意义上的进程)组成,并通过消息传递相互通讯 。进程间上下文切换对于 Erlang 来说仅仅 只是一两个环节 , 比起 C 程序的线程切换要高效得多得多了 。
——整理于百度百科的资料
不管是什么 MQ 中间件,作为消息的生产方和消费方都需要和 MQ 的服务端建立连接进行通讯 。
?
一般这个连接都会使用 TCP 协议,在 RabbitMQ 里也不例外 。大多数 RabbitMQ 的 SDK 都会将连接封装为一个「Connection」对象 。
还没完,大多数的 MQ 中间件还会在「Connection」的基础上增加一个「Channel」的概念,以通过复用的方式提高 TCP 连接的利用率,因为建立和销毁 TCP 连接是非常昂贵的开销 。在 RabbitMQ 中的复用 TCP 连接方式是「Non-blocking I/O」的模式 。
关于NIO,「Non-blocking I/O」的概念,有感兴趣的话可以跳转去看之前写的这篇文章 。(用最通俗的话讲明白阻塞/非阻塞/异步/同步,到底啥区别?)
?
多说一句,任何方案都不是“银弹” 。当每个 Channel 的流量不是很大时 , 复用单一的 Connection 可以在产生性能瓶颈的情况下有效地节省 TCP 连接资源 。但是 Channel 本身的流量很大时,这时候多个 Channel 复用一个 Connection 就会产生性能瓶颈,进而使整体的流量被限制了 。此时就需要开辟多个 Connection,将这些 Channel 均摊到这些 Connection 中,至于哪些 Channel 使用那个 Connection 以及Connection 与 Channel 之间的数量关系是多少,需要根据业务自身的实际情况进行调节 。
Channel 在 AMQP 中是一个很重要的概念,大多数操作都是在信道这个层面展开的 。比如, channel.exchangeDeclare、channel.queueDeclare、channel.basicPublish、channel.basicConsume 等方法 。RabbitMQ 相关的 API 与 AMQP 紧密相连,比如 channel.basicPublish 对应 AMQP 的 Basic.Publish 命令 。
可能用go语言开发消息中间件你要问了,Channel 是不是也能像 Connection 一样被复用?这是个好问题,也是我们这次遇到问题的关键点 。
结论是:可以,但是需要自己保证客户端对 Channel 访问的线程安全问题,因为在 Channel 的另一端 , 在 RabbitMQ 的服务端,每个 Channel 由一个单独的“进程”所管理,如果由于多线程复用Channel 导致数据帧乱序了,RabbitMQ 的服务端会主动关闭整个 Connection。

推荐阅读