go语言开发监控系统 golang程序监控

普罗米修斯监控主机数量不超过Cacti(英文含义为仙人掌〉是一套基于 PHP、MySQL、SNMP和 RRDtool开发的网络流量监测图形分析工具 。
它通过snmpget来获取数据,使用RRDTool绘图,但使用者无须了解RRDTool复杂的参数 。它提供了非常强大的数据和用户管理功能,可以指定每一个用户能查看树状结构、主机设备以及任何一张图,还可以与LDAP 结合进行用户认证,同时也能自定义模板,在历史数据的展示监控方面,其功能相当不错 。
Cacti通过添加模板,使不同设备的监控添加具有可复用性 , 并且具备可自定义绘图的功能,具有强大的运算能力(数据的叠加功能)
1.2Nagios
Nagios是一款开源的免费网络监视工具,能有效监控windows、Linux和Unix的主机状态,交换机、打印机、路由器等网络设备 。在系统或服务状态异常时发出邮件或短信报警第一时间通知网站运维人员,在状态恢复后发出正常的邮件或短信通知 。
nagios主要的特征是监控告警,最强大的就是告警功能,可支持多种告警方式 , 但缺点是没有强大的数据收集机制 , 并且数据出图也很简陋,当监控的主机越来越多时,添加主机也非常麻烦,配置文件都是基于文本配置的,不支持web方式管理和配置,这样很容易出错 , 不宜维护 。
1.3Zabbix
zabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案 。zabbix能监视各种网络参数 , 保证服务器系统的安全运营;并提供强大的通知机制以让系统运维人员快速定位/解决存在的各种问题 。
zabbix由2部分构成 , zabbix server与可选组件zabbix agent 。zabbix server可以通过SNMP,zabbix,agent,ping,端口监视等方法提供对远程服务器/网络状态的监视,数据收集等功能 , 它可以运行在Linux,Solaris,HP-UX,AIX,Free BSD,Open BSD,os x等平台上 。
zabbix解决了cacti没有告警的不足,也解决了nagios不能通过web配置的缺点,同时还支持分布式部署,这使得它迅速流行起来,zabbix也成为目前中小企业监控最流行的运维监控平台 。当然,zabbix也有不足之处,它消耗的资源比较多,如果监控的主机非常多时(服务器数量超过500台),可能会出现监控超时、告警超时、告警系统单点故障等现象,不过也有很多解决办法 , 比如提高硬件性能、改变zabbix监控模式等 。
① agent代理:专门的代理服务方式进行监控,专属的协议,装有zabbix-agent的主机就可以被zabbix-server监控 , 主
动或被动的方式,把数据给到server进行处理 。
② ssh/telent:linux主机支持ssh/telent协议
③ snmp:网络设备路由器、交换机不能安装第三方程序(agent),使用简单网络协议 。大多数的路由器设备支持SNMP协议
④ ipmi:通过ipmi接口进行监控,我们可以通过标准的ipmi硬件接口,监控被监控对象的物理特征 , 比如电压,温度,
风扇状态电源情况,被广泛使用服务监控中 , 包括采集cpu温度,风扇转速 , 主板温度,及远程开关机等等,而且ipmi独立于硬件和操作系统,无论是cpu,bios还是os出现故障,都不会影响ipmi的工作,因为ipmi的硬件设备BMC(bashboard management controller)是独立的板卡,独立供电
⑤ zabbix核心组件介绍
Zabbix Server:
Zabbix软件实现监控的核心程序,主要功能是与Zabbixproxies和Agents进行交互、触发器计算、发送告警通知;并将数据集中保存 。与prometheus的类似可以保存收集到的数据,但是prometheus告警需要使用altermanager组件
Database storage:
存储配置信息以及收集到的数据
web Interface:
Zabbix的GUI接口,通常与server运行在同一台机器上
Proxy:
可选组件,常用于分布式监控环境中,一个帮助zabbix Server收集数据 , 分担zabbix Server的负载的程序
Agent:
部署在被监控主机上,负责收集数据发送给server
1.5Prometheus
borg.kubernetes
borgmon(监控系统) 对应克隆的版本:prometheus(go语言)
所以prometheus 特别适合K8S 的架构上
而作为一个数据监控解决方案 , 它由一个大型社区支持 , 有来自700多家公司的6300个贡献者 , 13500个代码提交和7200个拉取请求
Prometheus具有以下特性:
① 多维的数据模型(基于时间序列的Key、value键值对)
② 灵活的查询和聚合语言PromQL(难)
③ 提供本地存储和分布式存储
④ 通过基于HTTP和HTTPS的Pull模型采集时间序列数据(pull数据的拉取 , 时间序列:每段
时间点的数据值指标 , 持续性的产生 。横轴标识时间,纵轴为数据值,一段时间内数值的动态变化,所有的点连线形成大盘式的折线图)
⑤ 可利用Pushgateway (Prometheus的可选中间件)实现Push模式
⑥ 可通过动态服务发现或静态配置发现目标机器(通过consul自动发现和收缩)
⑦ 支持多种图表和数据大盘
open-Falcaon是小米开源的企业级监控工具 , 用GO语言开发,包括小米、滴滴、美团等在内的互联网公司都在使用它,是一款灵活、可拓展并且高性能的监控方案 。
go是什么编程语言?主要应用于哪些方面?Go语言由Google公司开发 , 并于2009年开源,相比Java/Python/C等语言,Go尤其擅长并发编程,性能堪比C语言,开发效率肩比Python,被誉为“21世纪的C语言” 。
Go语言在云计算、大数据、微服务、高并发领域应用应用非常广泛 。BAT大厂正在把Go作为新项目开发的首选语言 。
Go语言能干什么?
1、服务端开发:以前你使用C或者C做的那些事情 , 用Go来做很合适,例如日志处理、文件系统、监控系统等;
2、DevOps:运维生态中的Docker、K8s、prometheus、grafana、open-falcon等都是使用Go语言开发;
3、网络编程:大量优秀的Web框架如Echo、Gin、Iris、beego等,而且Go内置的 net/http包十分的优秀;
4、Paas云平台领域:Kubernetes和Docker Swarm等;
5、分布式存储领域:etcd、Groupcache、TiDB、Cockroachdb、Influxdb等;
6、区块链领域:区块链里面有两个明星项目以太坊和fabric都使用Go语言;
7、容器虚拟化:大名鼎鼎的Docker就是使用Go语言实现的;
8、爬虫及大数据:Go语言天生支持并发,所以十分适合编写分布式爬虫及大数据处理 。
为什么go语言开发docker部署简单 。Go 编译生成的是一个静态可执行文件 , 除了 glibc 外没有其他外部依赖 。这让部署变得异常方便:目标机器上只需要一个基础的系统和必要的管理、监控工具,完全不需要操心应用所需的各种包、库的依赖关系 , 大大减轻了维护的负担 。这和 Python 有着巨大的区别 。由于历史的原因 , Python 的部署工具生态相当混乱【比如 setuptools, distutils, pip, buildout 的不同适用场合以及兼容性问题】 。官方 PyPI 源又经常出问题,需要搭建私有镜像,而维护这个镜像又要花费不少时间和精力 。
并发性好 。Goroutine 和 channel 使得编写高并发的服务端软件变得相当容易,很多情况下完全不需要考虑锁机制以及由此带来的各种问题 。单个 Go 应用也能有效的利用多个 CPU 核,并行执行的性能好 。这和 Python 也是天壤之比 。多线程和多进程的服务端程序编写起来并不简单,而且由于全局锁 GIL 的原因,多线程的 Python 程序并不能有效利用多核 , 只能用多进程的方式部署;如果用标准库里的 multiprocessing 包又会对监控和管理造成不少的挑战【我们用的 supervisor 管理进程,对 fork 支持不好】 。部署 Python 应用的时候通常是每个 CPU 核部署一个应用,这会造成不少资源的浪费,比如假设某个 Python 应用启动后需要占用 100MB 内存 , 而服务器有 32 个 CPU 核,那么留一个核给系统、运行 31 个应用副本就要浪费 3GB 的内存资源 。
良好的语言设计 。从学术的角度讲 Go 语言其实非常平庸,不支持许多高级的语言特性;但从工程的角度讲,Go 的设计是非常优秀的:规范足够简单灵活,有其他语言基础的程序员都能迅速上手 。更重要的是 Go 自带完善的工具链,大大提高了团队协作的一致性 。比如 gofmt 自动排版 Go 代码,很大程度上杜绝了不同人写的代码排版风格不一致的问题 。把编辑器配置成在编辑存档的时候自动运行 gofmt,这样在编写代码的时候可以随意摆放位置,存档的时候自动变成正确排版的代码 。此外还有 gofix, govet 等非常有用的工具 。
执行性能好 。虽然不如 C 和 Java,但通常比原生 Python 应用还是高一个数量级的,适合编写一些瓶颈业务 。内存占用也非常省 。
go语言现在很重要么??Go作为Google2009年推出的语言,其被设计成一门应用于搭载 Web 服务器,存储集群或类似用途的巨型中央服务器的系统编程语言 。
对于高性能分布式系统领域而言,Go 语言无疑比大多数其它语言有着更高的开发效率 。它提供了海量并行的支持,这对于 游戏 服务端的开发而言是再好不过了 。
到现在Go的开发已经是完全开放的,并且拥有一个活跃的社区 。
=================================
哪些大公司在使用Go语言:
1、Google
这个不用多做介绍 , 作为开发Go语言的公司,当仁不让 。Google基于Go有很多优秀的项目,比如: ,大家也可以在Github上查看更多Google的Go开源项目 。
2、Facebook
Facebook也在用,为此他们还专门在Github上建立了一个开源组织facebookgo,大家可以通过访问查看facebook开源的项目,比如著名的是平滑升级的grace 。
3、腾讯
腾讯作为国内的大公司,还是敢于尝试的,尤其是Docker容器化这一块,他们在15年已经做了docker万台规模的实践,具体可以参考
4、百度
目前所知的百度的使用是在运维这边,是百度运维的一个BFE项目,负责前端流量的接入 。他们的负责人在2016年有分享,大家可以看下这个
5、阿里
阿里巴巴具体的项目不太清楚,不过听说其系统部门、CDN等正在招Go方面的人 。
6、京东
京东云消息推送系统、云存储,以及京东商城等都有使用Go做开发 。
7、小米
小米对Golang的支持,莫过于运维监控系统的开源,也就是
此外,小米互娱、小米商城、小米视频、小米生态链等团队都在使用Golang 。
8、360
360对Golang的使用也不少,一个是开源的日志搜索系统Poseidon,托管在Github上 ,
==================================
Go适合做什么?为何这么多人偏爱Go语言?
Go强大的开发团队
1、自由高效:组合的思想、无侵入式的接口
Go语言可以说是开发效率和运行效率二者的完美融合,天生的并发编程支持 。Go语言支持当前所有的编程范式,包括过程式编程、面向对象编程以及函数式编程 。程序员们可以各取所需、自由组合、想怎么玩就怎么玩 。
2、强大的标准库
这包括互联网应用、系统编程和网络编程 。Go里面的标准库基本上已经是非常稳定了,特别是我这里提到的三个,网络层、系统层的库非常实用 。
3、部署方便:二进制文件、Copy部署
我相信这一点是很多人选择Go的最大理由,因为部署太方便了,所以现在也有很多人用Go开发运维程序 。
4、简单的并发
它包含了降低心智的并发和简易的数据同步,我觉得这是Go最大的特色 。之所以写正确的并发、容错和可扩展的程序如此之难 , 是因为我们用了错误的工具和错误的抽象,Go可以说这一块做的相当简单 。
5、稳定性
Go拥有强大的编译检查、严格的编码规范和完整的软件生命周期工具,具有很强的稳定性 , 稳定压倒一切 。那么为什么Go相比于其他程序会更稳定呢?这是因为Go提供了软件生命周期(开发、测试、部署、维护等等)的各个环节的工具,如go tool、gofmt、go test 。
================================
我们为什么选择GO语言
选择GO语言,主要是基于两方面的考虑
1.执行性能 缩短API的响应时长,解决批量请求访问超时的问题 。在Uwork的业务场景下 , 一次API批量请求,往往会涉及对另外接口服务的多次调用,而在之前的PHP实现模式下,要做到并行调用是非常困难的,串行处理却不能从根本上提高处理性能 。而GO语言不一样,通过协程可以方便的实现API的并行处理,达到处理效率的最大化 。依赖Golang的高性能HTTP Server , 提升系统吞吐能力,由PHP的数百级别提升到数千里甚至过万级别 。
2.开发效率 GO语言使用起来简单、代码描述效率高、编码规范统一、上手快 。通过少量的代码,即可实现框架的标准化,并以统一的规范快速构建API业务逻辑 。能快速的构建各种通用组件和公共类库 , 进一步提升开发效率,实现特定场景下的功能量产 。
Go语言近两年的发展速度还是非常快的,一方面Go语言有强大的行业背书,另一方面Go语言在设计时充分考虑了当前的编程环境,加强了大数据量、高并发等应用场景的处理能力,强调编程语言自身对于处理性能的追求,相信Go语言在未来大数据和人工智能相关技术逐渐落地应用的背景下 , 会有一个较为广阔的发展空间 。
【go语言开发监控系统 golang程序监控】关于go语言开发监控系统和golang程序监控的介绍到此就结束了,不知道你从中找到你需要的信息了吗 ?如果你还想了解更多这方面的信息,记得收藏关注本站 。

    推荐阅读