怎么使用golang的channel做广播当监听者数量已知时
让每个worker监听专有go语言广播的广播channel,并且从主channel中派发消息到每一个专有go语言广播的广播channel中 。
type worker struct {
namestring
source chan interface{}
quitchan struct{}
}
func (w *worker) Start() {
w.source = make(chan interface{})
go func() {
for {
select {
golang使用Nsq1. 介绍
最近在研究一些消息中间件go语言广播,常用go语言广播的MQ如RabbitMQ,ActiveMQ,Kafka等 。NSQ是一个基于Go语言的分布式实时消息平台,它基于MIT开源协议发布,由bitly公司开源出来的一款简单易用的消息中间件 。
官方和第三方还为NSQ开发go语言广播了众多客户端功能库,如官方提供的基于HTTP的nsqd、Go客户端go-nsq、Python客户端pynsq、基于Node.js的JavaScript客户端nsqjs、异步C客户端libnsq、Java客户端nsq-java以及基于各种语言的众多第三方客户端功能库 。
1.1 Features
1). Distributed
NSQ提供了分布式的,去中心化,且没有单点故障的拓扑结构,稳定的消息传输发布保障,能够具有高容错和HA(高可用)特性 。
2). Scalable易于扩展
NSQ支持水平扩展,没有中心化的brokers 。内置的发现服务简化了在集群中增加节点 。同时支持pub-sub和load-balanced 的消息分发 。
3). Ops Friendly
NSQ非常容易配置和部署 , 生来就绑定了一个管理界面 。二进制包没有运行时依赖 。官方有Docker image 。
【go语言广播 go语音】 4.Integrated高度集成
官方的 Go 和 Python库都有提供 。而且为大多数语言提供了库 。
1.2 组件
1.3 拓扑结构
NSQ推荐通过他们相应的nsqd实例使用协同定位发布者,这意味着即使面对网络分区,消息也会被保存在本地,直到它们被一个消费者读取 。更重要的是,发布者不必去发现其他的nsqd节点,他们总是可以向本地实例发布消息 。
NSQ
首先,一个发布者向它的本地nsqd发送消息,要做到这点,首先要先打开一个连接,然后发送一个包含topic和消息主体的发布命令,在这种情况下 , go语言广播我们将消息发布到事件topic上以分散到我们不同的worker中 。
事件topic会复制这些消息并且在每一个连接topic的channel上进行排队,在我们的案例中,有三个channel,它们其中之一作为档案channel 。消费者会获取这些消息并且上传到S3 。
nsqd
每个channel的消息都会进行排队,直到一个worker把他们消费,如果此队列超出了内存限制,消息将会被写入到磁盘中 。Nsqd节点首先会向nsqlookup广播他们的位置信息,一旦它们注册成功,worker将会从nsqlookup服务器节点上发现所有包含事件topic的nsqd节点 。
nsqlookupd
2. Internals
2.1 消息传递担保
1)客户表示已经准备好接收消息
2)NSQ 发送一条消息,并暂时将数据存储在本地(在 re-queue 或 timeout)
3)客户端回复 FIN(结束)或 REQ(重新排队)分别指示成功或失败 。如果客户端没有回复, NSQ 会在设定的时间超时 , 自动重新排队消息
这确保了消息丢失唯一可能的情况是不正常结束 nsqd 进程 。在这种情况下,这是在内存中的任何信息(或任何缓冲未刷新到磁盘)都将丢失 。
如何防止消息丢失是最重要的,即使是这个意外情况可以得到缓解 。一种解决方案是构成冗余 nsqd对(在不同的主机上)接收消息的相同部分的副本 。因为你实现的消费者是幂等的,以两倍时间处理这些消息不会对下游造成影响,并使得系统能够承受任何单一节点故障而不会丢失信息 。
推荐阅读
- 模拟交易类型游戏,模拟交易能赚钱吗
- 苹果仿安卓ios主题桌面,仿苹果桌面 安卓
- 维密营销效果如何,维密营销效果如何描述
- 电信备用dns服务器,中国电信备用dns地址
- Linux命令mcopy LInux命令设置参数
- 华为鸿蒙版本如何回退,华为鸿蒙系统版本回退
- 视频号怎么设置看不到,视频号怎么设置不可见
- cax怎么转pdf图幅,caxa2007怎么转换pdf
- linux文件和目录命令 linux文件和目录操作命令