锐客网

  1. 首页 > 生活百科 > it技术 > >

go语言缓冲流 golang无缓冲和有缓冲的channel

IT技术一个

go基础——buffer1 bytes.Buffer
2 strings.Builder
3 bufio包
前言
bytes.Buffer strings.Builder和bufio都是golang中经常使用的提供了缓冲池的数据结构，他们内部都是封装了一个[]byte， 可以用来高效的操作字节切片、字符串和io操作
byte.Buffer是一个简单字节缓冲池，内部包了一个字节数组，在某些频繁io的操作中，可以使用buffer来做一个读取或是写入的缓冲池 ， 来提高效率
strings.builder可以高效的写入、拼接字符串，其内部封装了一个字节数组，写入时其实是将传入的字节append到内部的字节数组上
builder2.WriteString会调用copyCheck检查内部切片是否为nil，不为nil直接panic
bufio包提供了有缓冲的io，它定义了两个结构体 ， 分别是Reader和Writer, 它们也分别实现了io包中io.Reader和io.Writer接口, 通过传入一个io.Reader的实现对象和一个缓冲池大小参数，可以构造一个bufio.Reader对象，根据bufio.Reader的相关方法便可读取io.Reader中数据流 ， 因为带有缓冲池，读数据会先读到缓冲池，再次读取会先去缓冲池读取 ， 这样减少了io操作，提高了效率；
func (b *Reader) Read(p []byte) (n int, err error)具体读取流程如下：
func (b *Writer) Write(p []byte) (nn int, err error) 具体写入流程如下：
引用：
go语言无缓冲的channel无缓冲go语言缓冲流的通道（unbuffered channel）是指在接收前没有能力保存任何值的通道 。
这种类型的通道要求发送goroutine和接收goroutine同时准备好，才能完成发送和接收操作 。否则 ， 通道会导致先执行发送或接收操作的 goroutine 阻塞等待 。
这种对通道进行发送和接收的交互行为本身就是同步的 。其中任意一个操作都无法离开另一个操作单独存在 。
阻塞：由于某种原因数据没有到达，当前协程（线程）持续处于等待状态 ， 直到条件满足，才接触阻塞 。
同步：在两个或多个协程（线程）间，保持数据内容一致性的机制 。
下图展示两个 goroutine 如何利用无缓冲的通道来共享一个值：
在第 1 步，两个 goroutine 都到达通道 ， 但哪个都没有开始执行发送或者接收 。
在第 2 步，左侧的 goroutine 将它的手伸进go语言缓冲流了通道，这模拟了向通道发送数据的行为 。这时，这个 goroutine 会在通道中被锁?。钡浇换煌瓿?。
在第 3 步 ， 右侧的 goroutine 将它的手放入通道，这模拟了从通道里接收数据 。这个 goroutine 一样也会在通道中被锁住，直到交换完成 。
在第 4 步和第 5 步，进行交换，并最终 ， 在第 6 步，两个 goroutine 都将它们的手从通道里拿出来，这模拟了被锁住的 goroutine 得到释放 。两个 goroutine 现在都可以去做别的事情了 。
如果没有指定缓冲区容量，那么该通道就是同步的，因此会阻塞到发送者准备好发送和接收者准备好接收 。
无缓冲channel： —— 同步通信
go语言的channel特性1、给一个nil channel发送数据 ， 造成永远阻塞
2、从一个nil channel接收数据 ， 造成永远阻塞
3、给一个已经关闭的channel发送数据，引起panic
4、从一个已经关闭的channel接收数据，如果缓冲区中为空，则返回一个零值
5、无缓冲的channel是同步的，而有缓冲的channel是非同步的
每天一个知识点：Go 语言当中 Channel(通道)有什么特点 ， 需要注意什么?使用简单的 make 调用创建的通道叫做无缓冲通道go语言缓冲流，但 make 还可以接受第二个可选参数go语言缓冲流，一个表示通道容量的整数 。如果容量是 0go语言缓冲流，make 创建一个无缓冲通道 。
无缓冲通道上的发送操作将被阻塞，直到另一个 goroutine 在对应的通道上执行接受操作，这时值传送完成 ， 两个 goroutine 都可以继续执行 。相反 ， 如果接受操作先执行，接收方 goroutine 将阻塞，直到另一个 goroutine 在同一个通道上发送一个值 。使用无缓冲通道进行的通信导致发送和接受操作 goroutine 同步化 。因此，无缓冲通道也称为同步通道 。当一个值在无缓冲通道上传递时，接受值后发送方 goroutine 才能被唤醒 。
缓冲通道上的发送操作在队列的尾部插入一个元素，接收操作从队列的头部移除一个元素 。如果通道满了，发送操作会阻塞所在的 goroutine 直到另一个 goroutine 对它进行接收操作来留出可用的空间 。反过来，如果通道是空的，执行接收操作的 goroutine 阻塞，直到另一个 goroutine 在通道上发送数据 。
如果给一个 nil 的 channel 发送数据，会造成永远阻塞 。
如果从一个 nil 的 channel 中接收数据，也会造成永久阻塞 。给一个已经关闭的 channel 发送数据，会引起 panic 。
从一个已经关闭的 channel 接收数据，如果缓冲区中为空，则返回一个 零 值 。
go语言string之Buffer与Builder操作字符串离不开字符串的拼接go语言缓冲流，但是Go中string是只读类型，大量字符串的拼接会造成性能问题 。
拼接字符串，无外乎四种方式，采用“ ”，“fmt.Sprintf()”,"bytes.Buffer","strings.Builder"
上面我们创建10万字符串拼接的测试，可以发现"bytes.Buffer","strings.Builder"的性能最好 ， 约是“ ”的1000倍级别 。
这是由于string是不可修改的，所以在使用“ ”进行拼接字符串，每次都会产生申请空间，拼接，复制等操作 ， 数据量大的情况下非常消耗资源和性能 。而采用Buffer等方式，都是预先计算拼接字符串数组的总长度（如果可以知道长度），申请空间，底层是slice数组 ， 可以以append的形式向后进行追加 。最后在转换为字符串 。这申请了不断申请空间的操作 ， 也减少了空间的使用和拷贝的次数 ， 自然性能也高不少 。
bytes.buffer是一个缓冲byte类型的缓冲器存放着都是byte
是一个变长的 buffer ， 具有 Read 和Write 方法 。Buffer 的 零值 是一个 空的 buffer，但是可以使用，底层就是一个 []byte，字节切片 。
向Buffer中写数据 ， 可以看出Buffer中有个Grow函数用于对切片进行扩容 。
从Buffer中读取数据
strings.Builder的方法和bytes.Buffer的方法的命名几乎一致 。
但实现并不一致 ， Builder的Write方法直接将字符拼接slice数组后 。
其没有提供read方法 ， 但提供了strings.Reader方式
【go语言缓冲流 golang无缓冲和有缓冲的channel】 Reader 结构:
Buffer:
Builder:
可以看出Buffer和Builder底层都是采用[]byte数组进行装载数据 。
先来说说Buffer:
创建好Buffer是一个empty的，off 用于指向读写的尾部 。
在写的时候，先判断当前写入字符串长度是否大于Buffer的容量，如果大于就调用grow进行扩容，扩容申请的长度为当前写入字符串的长度 。如果当前写入字符串长度小于最小字节长度64，直接创建64长度的[]byte数组 。如果申请的长度小于二分之一总容量减去当前字符总长度，说明存在很大一部分被使用但已读，可以将未读的数据滑动到数组头 。如果容量不足，扩展2*cn。
其String()方法就是将字节数组强转为string
Builder是如何实现的 。
Builder采用append的方式向字节数组后添加字符串 。
从上面可以看出 ， []byte的内存大小也是以倍数进行申请的 ， 初始大小为 0，第一次为大于当前申请的最大 2 的指数，不够进行翻倍.
可以看出如果旧容量小于1024进行翻倍，否则扩展四分之一 。（2048 byte 后，申请策略的调整） 。
其次String()方法与Buffer的string方法也有明显区别 。Buffer的string是一种强转，我们知道在强转的时候是需要进行申请空间，并拷贝的 。而Builder只是指针的转换 。
这里我们解析一下 *(*string)(unsafe.Pointer(b.buf)) 这个语句的意思 。
先来了解下unsafe.Pointer 的用法 。
也就是说，unsafe.Pointer 可以转换为任意类型，那么意味着，通过unsafe.Pointer媒介 ， 程序绕过类型系统，进行地址转换而不是拷贝 。
即*A = Pointer = *B
就像上面例子一样，将字节数组转为unsafe.Pointer类型，再转为string类型，s和b中内容一样，修改b,s也变了 ， 说明b和s是同一个地址 。但是对s重新赋值后，意味着s的地址指向了“WORLD”,它们所使用的内存空间不同了，所以s改变后，b并不会改变 。
所以go语言缓冲流他们的区别就在于 bytes.Buffer 是重新申请了一块空间，存放生成的string变量， 而strings.Builder直接将底层的[]byte转换成了string类型返回了回来，去掉了申请空间的操作 。
GO语言商业案例（十八）：stream切换到新语言始终是一大步go语言缓冲流，尤其是当您的团队成员只有一个时有该语言的先前经验 。现在，Stream 的主要编程语言从 Python 切换到go语言缓冲流了 Go 。这篇文章将解释stream决定放弃 Python 并转向 Go 的一些原因 。
Go 非常快 。性能类似于 Java 或 C。对于用例，Go 通常比 Python 快 40 倍 。
对于许多应用程序来说，编程语言只是应用程序和数据库之间的粘合剂 。语言本身的性能通常并不重要 。然而 ， Stream 是一个API 提供商，为 700 家公司和超过 5 亿最终用户提供提要和聊天平台 。多年来，go语言缓冲流我们一直在优化 Cassandra、PostgreSQL、Redis 等，但最终，您会达到所使用语言的极限 。Python 是一门很棒的语言，但对于序列化/反序列化、排名和聚合等用例，它的性能相当缓慢 。我们经常遇到性能问题，Cassandra 需要 1 毫秒来检索数据，而 Python 会花费接下来的 10 毫秒将其转换为对象 。
看看我如何开始 Go 教程中的一小段 Go 代码 。（这是一个很棒的教程，也是学习 Go 的一个很好的起点 。）
如果您是 Go 新手，那么在阅读那个小代码片段时不会有太多让您感到惊讶的事情 。它展示了多个赋值、数据结构、指针、格式和一个内置的 HTTP 库 。当我第一次开始编程时，我一直喜欢使用 Python 更高级的功能 。Python 允许您在编写代码时获得相当的创意 。例如，您可以：
这些功能玩起来很有趣 ， 但是，正如大多数程序员会同意的那样，在阅读别人的作品时，它们通常会使代码更难理解 。Go 迫使你坚持基础 。这使得阅读任何人的代码并立即了解发生了什么变得非常容易 。注意：当然，它实际上有多“容易”取决于您的用例 。如果你想创建一个基本的 CRUD API，我仍然推荐 DjangoDRF或 Rails 。
作为一门语言，Go 试图让事情变得简单 。它没有引入许多新概念 。重点是创建一种非常快速且易于使用的简单语言 。它唯一具有创新性的领域是 goroutine 和通道 。（100% 正确CSP的概念始于 1977 年，所以这项创新更多是对旧思想的一种新方法 。）Goroutines 是 Go 的轻量级线程方法，通道是 goroutines 之间通信的首选方式 。Goroutines 的创建非常便宜 ， 并且只需要几 KB 的额外内存 。因为 Goroutine 非常轻量，所以有可能同时运行数百甚至数千个 。您可以使用通道在 goroutine 之间进行通信 。Go 运行时处理所有复杂性 。goroutines 和基于通道的并发方法使得使用所有可用的 CPU 内核和处理并发 IO 变得非常容易——所有这些都不会使开发复杂化 。与 Python/Java 相比 ， 在 goroutine 上运行函数需要最少的样板代码 。您只需在函数调用前加上关键字“go”：
Go 的并发方法很容易使用 。与 Node 相比，这是一种有趣的方法，开发人员必须密切关注异步代码的处理方式 。Go 中并发的另一个重要方面是竞争检测器 。这样可以很容易地确定异步代码中是否存在任何竞争条件 。
我们目前用 Go 编写的最大的微服务编译需要 4 秒 。与以编译速度慢而闻名的 Java 和 C等语言相比，Go 的快速编译时间是一项重大的生产力胜利 。我喜欢在程序编译的时候摸鱼，但在我还记得代码应该做什么的同时完成事情会更好 。
首先，让我们从显而易见的开始：与 C和 Java 等旧语言相比，Go 开发人员的数量并不多 。根据StackOverflow的数据，38%的开发人员知道 Java ， 19.3%的人知道 C，只有4.6%的人知道 Go 。GitHub 数据显示了类似的趋势：Go 比 Erlang、Scala 和 Elixir 等语言使用更广泛，但不如 Java 和 C流行 。幸运的是，Go 是一种非常简单易学的语言 。它提供了您需要的基本功能 ， 仅此而已 。它引入的新概念是“延迟”声明和内置的并发管理与“goroutines”和通道 。（对于纯粹主义者来说：Go 并不是第一种实现这些概念的语言，只是第一种使它们流行起来的语言 。）任何加入团队的 Python、Elixir、C、Scala 或 Java 开发人员都可以在一个月内在 Go 上发挥作用，因为它的简单性 。与许多其他语言相比，我们发现组建 Go 开发人员团队更容易 。如果您在博尔德和阿姆斯特丹等竞争激烈的生态系统中招聘人员，这是一项重要的优势 。
对于我们这样规模的团队（约 20 人）来说，生态系统很重要 。如果您必须重新发明每一个小功能，您根本无法为您的客户创造价值 。Go 对我们使用的工具有很好的支持 。实体库已经可用于 Redis、RabbitMQ、PostgreSQL、模板解析、任务调度、表达式解析和 RocksDB 。与 Rust 或 Elixir 等其他较新的语言相比 ， Go 的生态系统是一个重大胜利 。它当然不如 Java、Python 或 Node 之类的语言好，但它很可靠，而且对于许多基本需求 ， 你会发现已经有高质量的包可用 。
Gofmt 是一个很棒的命令行实用程序，内置在 Go 编译器中，用于格式化代码 。就功能而言，它与 Python 的 autopep8 非常相似 。我们大多数人并不真正喜欢争论制表符与空格 。格式的一致性很重要，但实际的格式标准并不那么重要 。Gofmt 通过使用一种正式的方式来格式化您的代码来避免所有这些讨论 。
Go 对协议缓冲区和 gRPC 具有一流的支持 。这两个工具非常适合构建需要通过 RPC 通信的微服务 。您只需要编写一个清单 ， 在其中定义可以进行的 RPC 调用以及它们采用的参数 。然后从这个清单中自动生成服务器和客户端代码 。生成的代码既快速又具有非常小的网络占用空间并且易于使用 。从同一个清单中，您甚至可以为许多不同的语言生成客户端代码 ， 例如 C、Java、Python 和 Ruby 。因此，内部流量不再有模棱两可的 REST 端点，您每次都必须编写几乎相同的客户端和服务器代码 。.
Go 没有像 Rails 用于 Ruby、Django 用于 Python 或 Laravel 用于 PHP 那样的单一主导框架 。这是 Go 社区内激烈争论的话题，因为许多人主张你不应该一开始就使用框架 。我完全同意这对于某些用例是正确的 。但是，如果有人想构建一个简单的 CRUD API ， 他们将更容易使用 Django/DJRF、Rails Laravel 或Phoenix 。对于 Stream 的用例，我们更喜欢不使用框架 。然而，对于许多希望提供简单 CRUD API 的新项目来说，缺乏主导框架将是一个严重的劣势 。
Go 通过简单地从函数返回错误并期望调用代码来处理错误（或将其返回到调用堆栈）来处理错误 。虽然这种方法有效，但很容易失去问题的范围，以确保您可以向用户提供有意义的错误 。错误包通过允许您向错误添加上下文和堆栈跟踪来解决此问题 。另一个问题是很容易忘记处理错误 。像 errcheck 和 megacheck 这样的静态分析工具可以方便地避免犯这些错误 。虽然这些变通办法效果很好 ， 但感觉不太对劲 。您希望该语言支持正确的错误处理 。
Go 的包管理绝不是完美的 。默认情况下，它无法指定特定版本的依赖项 ， 也无法创建可重现的构建 。Python、Node 和 Ruby 都有更好的包管理系统 。但是，使用正确的工具，Go 的包管理工作得很好 。您可以使用Dep来管理您的依赖项，以允许指定和固定版本 。除此之外，我们还贡献了一个名为的开源工具VirtualGo，它可以更轻松地处理用 Go 编写的多个项目 。
我们进行的一个有趣的实验是在 Python 中使用我们的排名提要功能并在 Go 中重写它 。看看这个排名方法的例子：
Python 和 Go 代码都需要执行以下操作来支持这种排名方法：
开发 Python 版本的排名代码大约花了 3 天时间 。这包括编写代码、单元测试和文档 。接下来，我们花了大约 2 周的时间优化代码 。其中一项优化是将分数表达式 (simple_gauss(time)*popularity) 转换为抽象语法树. 我们还实现了缓存逻辑，可以在未来的特定时间预先计算分数 。相比之下，开发此代码的 Go 版本大约需要 4 天时间 。性能不需要任何进一步的优化 。因此，虽然 Python 的最初开发速度更快，但基于 Go 的版本最终需要我们团队的工作量大大减少 。另外一个好处是，Go 代码的执行速度比我们高度优化的 Python 代码快大约 40 倍 。现在，这只是我们通过切换到 Go 体验到的性能提升的一个示例 。
与 Python 相比，我们系统的其他一些组件在 Go 中构建所需的时间要多得多 。作为一个总体趋势，我们看到开发Go 代码需要更多的努力 。但是，我们花更少的时间优化代码以提高性能 。
我们评估的另一种语言是Elixir. 。Elixir 建立在 Erlang 虚拟机之上 。这是一种迷人的语言，我们之所以考虑它，是因为我们的一名团队成员在 Erlang 方面拥有丰富的经验 。对于我们的用例，我们注意到 Go 的原始性能要好得多 。Go 和 Elixir 都可以很好地服务数千个并发请求 。但是，如果您查看单个请求的性能，Go 对于我们的用例来说要快得多 。我们选择 Go 而不是 Elixir 的另一个原因是生态系统 。对于我们需要的组件，Go 有更成熟的库 ， 而在许多情况下，Elixir 库还没有准备好用于生产环境 。培训/寻找开发人员使用 Elixir 也更加困难 。这些原因使天平向 Go 倾斜 。Elixir 的 Phoenix 框架看起来很棒，绝对值得一看 。
Go 是一种非常高性能的语言，对并发有很好的支持 。它几乎与 C和 Java 等语言一样快 。虽然与 Python 或 Ruby 相比，使用 Go 构建东西确实需要更多时间，但您将节省大量用于优化代码的时间 。我们在Stream有一个小型开发团队，为超过 5 亿最终用户提供动力和聊天 。Go 结合了强大的生态系统、新开发人员的轻松入门、快速的性能、对并发的可靠支持和高效的编程环境，使其成为一个不错的选择 。Stream 仍然在我们的仪表板、站点和机器学习中利用 Python 来提供个性化的订阅源. 我们不会很快与 Python 说再见，但今后所有性能密集型代码都将使用 Go 编写 。我们新的聊天 API也完全用 Go 编写 。
关于go语言缓冲流和golang无缓冲和有缓冲的channel的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站 。

    推荐阅读


    上一篇：如何将网站服务器连接到光纤网络？ 网站服务器怎么连接光纤

    下一篇：虚拟机磁盘怎么安装，虚拟机磁盘怎么安装系统