go语言异步io go 异步io( 五 )


golang中bufio包一、介绍go标准库中的bufio
最近用golang写了一个处理文件的脚本,由于其中涉及到了文件读写,开始使用golang中的 io 包,后来发现golang 中提供了一个bufio的包,使用这个包可以大幅提高文件读写的效率,于是在网上搜索同样的文件读写为什么bufio 要比io 的读写更快速呢?根据网上的资料和阅读源码,以下来详细解释下bufio的高效如何实现的 。
bufio 包介绍
bufio包实现了有缓冲的I/O 。它包装一个io.Reader或io.Writer接口对象,创建另一个也实现了该接口 , 且同时还提供了缓冲和一些文本I/O的帮助函数的对象 。
以上为官方包的介绍,在其中我们能了解到的信息如下:
bufio 是通过缓冲来提高效率
简单的说就是,把文件读取进缓冲(内存)之后再读取的时候就可以避免文件系统的io 从而提高速度 。同理,在进行写操作时,先把文件写入缓冲(内存) , 然后由缓冲写入文件系统 。看完以上解释有人可能会表示困惑了,直接把 内容-文件 和 内容-缓冲-文件相比 ,  缓冲区好像没有起到作用嘛 。其实缓冲区的设计是为了存储多次的写入,最后一口气把缓冲区内容写入文件 。下面会详细解释
bufio 封装了io.Reader或io.Writer接口对象,并创建另一个也实现了该接口的对象
io.Reader或io.Writer 接口实现read() 和 write() 方法,对于实现这个接口的对象都是可以使用这两个方法的
注明:介绍内容来自博主 LiangWenT
,原文链接:,在查找资料时,发现这篇博客的内容很好理解
bufio包实现了缓存IO 。它包装了io.Reader和io.Write对象,创建了另外的Reader和Writer对象,它们也实现了io.Reader和io.Write接口 , 具有缓存 。注意:缓存是放在主存中,既然是保存在主存里,断电会丢失数据,那么要及时保存数据 。
二、常用内容
1、Reader类型
NewReaderSize
作用:NewReaderSize将rd封装成一个带缓存的bufio.Reader对象 。缓存大小由size指定(如果小于16则会被设为16) 。如果rd的基类型就是有足够缓存的bufio.Reader类型,则直接将rd转换为基类型返回 。
NewReader
funcReader相当于NewReaderSize(rd, 4096)
Peek
Peek返回缓存的一个切片,该切片引用缓存中前n个字节的数据,该操作不会将数据读出,只是引用,引用的数据在下一次读取操作之前有效的 。如果切片长度小于n,则返回一个错误信息说明原因 。如果n大于缓存的总大?。蚍祷谽rrBufferFull 。
Read
Read从b中数据到p中,返回读出的字节数和遇到的错误 。如果缓存不为空,则只能读出缓冲中的数据,不会从底层io.Reader中提取数据,如果缓存为空,则:
1、len(p) = 缓存大小 , 则跳过缓存,直接从底层io.Reader中读出到p中
2、len(p) 缓存大小,则先将数据从底层io.Reader中读取到缓存中,再从缓存读取到p中 。
Buffered
Buffered返回缓存中未读取的数据的长度 。
Discard
Discard跳过后续的n个字节的数据,返回跳过的字节数 。
Writer类型和方法
write结构
NewWriteSize
NewWriterSize将wr封装成一个带缓存的bufio.Writer对象,缓存大小由size指定(如果小于4096则会被设置未4096) 。
NewWrite
NewWriter相等于NewWriterSize(wr, 4096)
WriteString
WriteString功能同Write,只不过写入的是字符串
WriteRune
WriteRune向b写入r的UTF-8编码,返回r的编码长度 。
Flush
Available
Available 返回缓存中未使用的空间的长度
Buffered
Buffered返回缓存中未提交的数据长度

推荐阅读