go语言采集日志 go语言日志框架( 二 )


欢迎大家在评论区讨论使用过程的心得和疑惑 。
golang爬虫框架collycolly一款快速优雅的golang爬虫框架,简单易用,功能完备 。
地址:
包地址: import "github.com/gocolly/colly"
一个简单的例子:
使用方式概括下来主要有三步:
创建采集器时可以指定一些配置参数,如useragent,爬取深度及日志等
回调函数共有7中
通过浏览器开发者工具查看jianshu.com结构如下
文章列表为ul标签,中间每一项是li标签,li中包含content,content中包含title,abstract和meta标签
Go语言基础语法(一)本文介绍一些Go语言的基础语法 。
先来看一个简单的go语言代码:
go语言的注释方法:
代码执行结果:
下面来进一步介绍go的基础语法 。
go语言中格式化输出可以使用 fmt 和 log 这两个标准库,
常用方法:
示例代码:
执行结果:
更多格式化方法可以访问中的fmt包 。
log包实现了简单的日志服务,也提供了一些格式化输出的方法 。
执行结果:
下面来介绍一下go的数据类型
下表列出了go语言的数据类型:
int、float、bool、string、数组和struct属于值类型,这些类型的变量直接指向存在内存中的值;slice、map、chan、pointer等是引用类型,存储的是一个地址,这个地址存储最终的值 。
常量是在程序编译时就确定下来的值,程序运行时无法改变 。
执行结果:
执行结果:
Go 语言的运算符主要包括算术运算符、关系运算符、逻辑运算符、位运算符、赋值运算符以及指针相关运算符 。
算术运算符:
关系运算符:
逻辑运算符:
位运算符:
赋值运算符:
指针相关运算符:
下面介绍一下go语言中的if语句和switch语句 。另外还有一种控制语句叫select语句,通常与通道联用,这里不做介绍 。
if语法格式如下:
if ... else :
else if:
示例代码:
语法格式:
另外,添加 fallthrough 会强制执行后面的 case 语句,不管下一条case语句是否为true 。
示例代码:
执行结果:
下面介绍几种循环语句:
执行结果:
执行结果:
也可以通过标记退出循环:
--THE END--
go语言可以做什么1、服务器编程:以前你如果使用C或者C++做go语言采集日志的那些事情 , 用Go来做很合适,例如处理日志、数据打包、虚拟机处理、文件系统等 。
2、分布式系统、数据库代理器、中间件:例如Etcd 。
3、网络编程:这一块目前应用最广,包括Web应用、API应用、下载应用,而且Go内置的net/http包基本上把我们平常用到的网络功能都实现go语言采集日志了 。
4、开发云平台:目前国外很多云平台在采用Go开发 , 我们所熟知的七牛云、华为云等等都有使用Go进行开发并且开源的成型的产品 。
5、区块链:目前有一种说法 , 技术从业人员把Go语言称作为区块链行业的开发语言 。如果大家学习区块链技术的话,就会发现现在有很多很多的区块链的系统和应用都是采用Go进行开发的 , 比如ehtereum是目前知名度最大的公链,再比如fabric是目前最知名的联盟链,两者都有go语言的版本,且go-ehtereum还是以太坊官方推荐的版本 。
自1.0版发布以来,go语言引起了众多开发者的关注,并得到了广泛的应用 。go语言简单、高效、并发的特点吸引了许多传统的语言开发人员 , 其数量也在不断增加 。
使用 Go 语言开发的开源项目非常多 。早期的 Go 语言开源项目只是通过 Go 语言与传统项目进行C语言库绑定实现,例如 Qt、Sqlite 等 。

推荐阅读