go语言日志分析工具 golang 日志处理( 三 )


4. 制定日志规范,重构日志系统,统一日志格式,方便用户理解日志内容,有助于通过工具对日志进行定量分析 。
5. 新增 EXPLAIN ANALYZE 功能,提升SQL 调优的易用性 。
6. 新增 SQL 语句 Trace 功能 , 方便排查问题 。
7. 新增通过 unix_socket 方式连接数据库 。
8. 新增快速恢复被删除表功能 , 当误删除数据时可通过此功能快速恢复数据 。
TiDB 3.0 新增 TiFlash 组件,解决复杂分析及 HTAP 场景 。TiFlash 是列式存储系统,与行存储系统实时同步,具备低延时 , 高性能 , 事务一致性读等特性 。通过 Raft 协议从 TiKV 中实时同步行存数据并转化成列存储格式持久化到一组独立的节点,解决行列混合存储以及资源隔离性问题 。TiFlash 可用作行存储系统(TiKV)实时镜像,实时镜像可独立于行存储系统 , 将行存储及列存储从物理隔离开 , 提供完善的资源隔离方案,HTAP 场景最优推荐方案;亦可用作行存储表的索引,配合行存储对外提供智能的 OLAP 服务,提升约 10 倍复杂的混合查询的性能 。
TiFlash 目前处于 Beta 阶段 , 计划 2019 年 12 月 31 日之前 GA , 欢迎大家申请试用 。
未来我们会继续投入到系统稳定性 , 易用性 , 性能,弹性扩展方面,向用户提供极致的弹性伸缩能力,极致的性能体验,极致的用户体验 。
稳定性方面 V4.0 版本将继续完善 V3.0 未 GA 的重大特性,例如:悲观事务模型,View,Table Partition,Titan 行存储引擎,TiFlash 列存储引擎;引入近似物理备份恢复解决分布数据库备份恢复难题;优化 PD 调度功能等 。
性能方面 V4.0 版本将继续优化事务处理流程,减少事务资源消耗 , 提升性能,例如:1PC,省去获取 commit ts 操作等 。
弹性扩展方面,PD 将提供弹性扩展所需的元信息供外部系统调用,外部系统可根据元信息及负载情况动态伸缩集群规模 , 达成节省成本的目标 。
我们相信战胜“未知”最好的武器就是社区的力量 , 基础软件需要坚定地走开源路线 。截止发稿我们已经完成 41 篇源码阅读文章 。TiDB 开源社区总计 265 位 Contributor,6 位 Committer,在这里我们对社区贡献者表示由衷的感谢,希望更多志同道合的人能加入进来 , 也希望大家在 TiDB 这个开源社区能够有所收获 。
TiDB 3.0 GA Release Notes:
go语言有前景吗?就目前来看还是很有前景,因为越来越火了,不过他的应用领域还是局限在高并发处理和网站开发,毕竟是后起之秀所以在其他桌面程序领域没那么容易普及和超越c++ , 找工作就不推荐学go
logstash 和filebeat 是什么关系logstash和filebeat都是可以作为日志采集的工具,logstash出现时间要比filebeat早许多 。filebeat更轻量,占用资源更少,但logstash 具有filter功能 , 能过滤分析日志 。一般结构都是filebeat采集日志 。
logstash是使用Java编写,插件是使用jruby编写 , 对机器的资源要求会比较高,网上有一篇关于其性能测试的报告 。之前自己也做过和filebeat的测试对比 。在采集日志方面,对CPU , 内存上都要比前者高很多 。
filebeat也是elastic.公司开发的,其官方的说法是为了替代logstash-forward 。采用go语言开发 。代码开源 。elastic/beats filebeat是beats的一个文件采集工具 。
Grafana的介绍与使用Grafana是一款用Go语言开发的开源数据可视化工具,可以做数据监控和数据统计,带有告警功能 。目前使用grafana的公司有很多,如paypal、ebay、intel等 。

推荐阅读