锐客网

  1. 首页 > 生活百科 > it技术 > >

开源go语言数据库连接池 gin 数据库连接池

IT技术连接

golang配制高性能sql.DB有很多教程是关于Go的sql.DB类型和如何使用它来执行SQL数据库查询的 。但大多数内容都没有讲述SetMaxOpenConns(),SetMaxIdleConns()和 SetConnMaxLifetime()方法，您可以使用它们来配置sql.DB的行为并改变其性能 。
转自：
整理：go语言中文文档：
在本文我将详细解释这些设置的作用 ， 并说明它们所能产生的(积极和消极)影响 。
一个sql.DB对象就是一个数据库连接池，它包含“正在用”和“空闲的”连接 。一个正在用的连接指的是 ， 你正用它来执行数据库任务，例如执行SQL语句或行查询 。当任务完成连接就是空闲的 。
当您创建sql.DB执行数据库任务时，它将首先检查连接池中是否有可用的空闲连接 。如果有可用的连接 ， 那么Go将重用现有连接，并在执行任务期间将其标记为正在使用 。如果池中没有空闲连接，而您需要一个空闲连接 ， 那么Go将创建一个新的连接 。
默认情况下，在同一时间打开连接的数量是没有限制(包含使用中 空闲) 。但你可以通过SetMaxOpenConns()方法实现自定义限制 ， 如下所示:
在这个示例代码中，连接池现在有5个并发打开的连接数 。如果所有5个连接都已经被标记为正在使用，并且需要另一个新的连接，那么应用程序将被迫等待，直到5个连接中的一个被释放并变为空闲 。
为了说明更改MaxOpenConns的影响，我运行了一个基准测试，将最大打开连接数设置为1、2、5、10和无限 。基准测试在PostgreSQL数据库上执行并行的INSERT语句，您可以在这里找到代码 。测试结果:
对于这个基准测试，我们可以看到，允许打开的连接越多，在数据库上执行INSERT操作所花费的时间就越少(打开的连接数为1时，执行速度3129633ns/op，而无限连接：531030ns/op——大约快了6倍) 。这是因为允许打开的连接越多，可以并发执行的数据库查询就越多 。
默认情况下，sql.DB允许连接池中最多保留2个空闲连接 。你可以通过SetMaxIdleConns()方法改变它，如下所示:
从理论上讲，允许池中有更多的空闲连接将提高性能 ， 因为这样就不太可能从头开始建立新连接——因此有助于提升数据库性能 。
让我们来看看相同的基准测试，最大空闲连接设置为none, 1,2,5和10:
当MaxIdleConns设置为none时，必须为每个INSERT从头创建一个新的连接，我们可以从基准测试中看到，平均运行时和内存使用量相对较高 。
只允许保留和重用一个空闲连接对基准测试影响特别明显——它将平均运行时间减少了大约8倍，内存使用量减少了大约20倍 。继续增加空闲连接池的大小会使性能变得更好，尽管改进并不明显 。
那么 ， 您应该维护一个大的空闲连接池吗?答案取决于应用程序 。重要的是要意识到保持空闲连接是有代价的—它占用了可以用于应用程序和数据库的内存 。
还有一种可能是，如果一个连接空闲时间太长，那么它可能会变得不可用 。例如 ， MySQL的wait_timeout设置将自动关闭任何8小时(默认)内未使用的连接 。
当发生这种情况时，sql.DB会优雅地处理它 。坏连接将自动重试两次，然后放弃，此时Go将该连接从连接池中删除，并创建一个新的连接 。因此，将MaxIdleConns设置得太大可能会导致连接变得不可用，与空闲连接池更小(使用更频繁的连接更少)相比 ， 会占有更多的资源 。所以，如果你很可能很快就会再次使用，你只需保持一个空闲的连接 。
最后要指出的是，MaxIdleConns应该总是小于或等于MaxOpenConns 。Go强制执行此操作，并在必要时自动减少MaxIdleConns 。
现在让我们看看SetConnMaxLifetime()方法，它设置连接可重用的最大时间长度 。如果您的SQL数据库也实现了最大连接生命周期，或者—例如—您希望方便地在负载均衡器后交换数据库，那么这将非常有用 。
你可以这样使用它:
在这个例子中 ， 所有的连接都将在创建后1小时“过期”，并且在过期后无法重用 。但注意:
从理论上讲，ConnMaxLifetime越短，连接过期的频率就越高——因此，需要从头创建连接的频率就越高 。为了说明这一点，我运行了将ConnMaxLifetime设置为100ms、200ms、500ms、1000ms和无限(永远重用)的基准测试，默认设置为无限打开连接和2个空闲连接 。这些时间段显然比您在大多数应用程序中使用的时间要短得多，但它们有助于很好地说明行为 。
在这些特定的基准测试中，我们可以看到，与无限生存期相比 ， 在100ms生存期时内存使用量增加了3倍以上，而且每个INSERT的平均运行时也稍微长一些 。
如果您在代码中设置了ConnMaxLifetime，那么一定要记住连接将过期(随后重新创建)的频率 。例如 ， 如果您总共有100个连接 ， 而ConnMaxLifetime为1分钟，那么您的应用程序可能每秒钟杀死和重新创建1.67个连接(平均值) 。您不希望这个频率太大，最终会阻碍性能 ， 而不是提高性能 。
最后，如果不说明超过数据库连接数量的硬限制将会发生什么 ， 那么本文就不完整了 。为了说明这一点，我将修改postgresql.conf文件，这样总共只允许5个连接(默认是100个)…
然后在无限连接的情况下重新运行基准测试……
一旦达到5个连接的硬限制，数据库驱动程序(pq)立即返回一个太多客户端连接的错误消息 ， 而无法完成INSERT 。为了防止这个错误，我们需要将sql.DB中打开连接的最大总数(正在使用的 空闲的)设置为低于5 。像这样:
现在，sql.DB在任何时候最多只能创建3个连接，基准测试运行时应该不会出现任何错误 。但是这样做需要注意：当达到开放连接数限制，并且所有连接都在使用时，应用程序需要执行的任何新的数据库任务都将被迫等待，直到连接标记为空闲 。例如，在web应用程序的上下文中 ， 用户的HTTP请求看起来会“挂起”，甚至在等待数据库任务运行时可能会超时 。
为了减轻这种情况 ， 你应该始终在一个上下文中传递 。在调用数据库时，启用上下文的方法(如ExecContext())，使用固定的、快速的超时上下文对象 。
总结
1、根据经验，应该显式设置MaxOpenConns值 。这应该小于数据库和基础设施对连接数量的硬性限制 。
2、一般来说，更高的MaxOpenConns和MaxIdleConns值将带来更好的性能 。但你应该注意到效果是递减的，连接池空闲连接太多(连接没有被重用，最终会变坏)实际上会导致性能下降 。
3、为了降低上面第2点带来的风险，您可能需要设置一个相对较短的ConnMaxLifetime 。但你也不希望它太短，导致连接被杀死或不必要地频繁重建 。
4、MaxIdleConns应该总是小于或等于MaxOpenConns 。
对于中小型web应用程序 ， 我通常使用以下设置作为起点，然后根据实际吞吐量水平的负载测试结果进行优化 。
如何在go语言中使用redis连接池1.在创建连接池之后，起一个 go routine，每隔一段 idleTime 发送一个 PING 到 Redis server 。其中 ， idleTime 略小于 Redis server 的 timeout 配置 。
2.连接池初始化部分代码如下：
p, err := pool.New("tcp", u.Host, concurrency) errHndlr(err) go func() {for {p.Cmd("PING")time.Sleep(idelTime * time.Second)} }()
3.使用 redis 传输数据部分代码如下：
func redisDo(p *pool.Pool, cmd string, args ...interface{}) (reply *redis.Resp, err error) {reply = p.Cmd(cmd, args...)if err = reply.Err; err != nil {if err != io.EOF {Fatal.Println("redis", cmd, args, "err is", err)}}return }
4.其中，Radix.v2 连接池内部进行了连接池内连接的获取和放回，代码如下：
// Cmd automatically gets one client from the pool, executes the given command // (returning its result), and puts the client back in the pool func (p *Pool) Cmd(cmd string, args ...interface{}) *redis.Resp {c, err := p.Get()if err != nil {return redis.NewResp(err)}defer p.Put(c)return c.Cmd(cmd, args...) }
这样，就有了系统 keep alive 的机制，不会出现 time out 的连接了，从 redis 连接池里面取出的连接都是可用的连接了 。看似简单的代码，却完美的解决了连接池里面超时连接的问题 。同时，就算 Redis server 重启等情况，也能保证连接自动重连 。
使用Go实现一个数据库连接池开始本文之前，我们看一段Go连接数据库的代码：
本文内容我们将解释连接池背后是如何工作的，并 探索 如何配置数据库能改变或优化其性能 。
转自：
整理：地鼠文档：
那么sql.DB连接池是如何工作的呢?
需要理解的最重要一点是，sql.DB池包含两种类型的连接——“正在使用”连接和“空闲”连接 。当您使用连接执行数据库任务(例如执行SQL语句或查询行)时，该连接被标记为正在使用，任务完成后，该连接被标记为空闲 。
当您使用Go执行数据库操作时，它将首先检查池中是否有可用的空闲连接 。如果有可用的连接，那么Go将重用这个现有连接 ， 并在任务期间将其标记为正在使用 。如果在您需要空闲连接时池中没有空闲连接 ， 那么Go将创建一个新的连接 。
当Go重用池中的空闲连接时，与该连接有关的任何问题都会被优雅地处理 。异常连接将在放弃之前自动重试两次，这时Go将从池中删除异常连接并创建一个新的连接来执行该任务 。
连接池有四个方法，我们可以使用它们来配置连接池的行为 。让我们一个一个地来讨论 。
SetMaxOpenConns()方法允许您设置池中“打开”连接(使用中 空闲连接)数量的上限 。默认情况下 ， 打开的连接数是无限的 。
一般来说，MaxOpenConns设置得越大，可以并发执行的数据库查询就越多，连接池本身成为应用程序中的瓶颈的风险就越低 。
但让它无限并不是最好的选择 。默认情况下，PostgreSQL最多100个打开连接的硬限制，如果达到这个限制的话，它将导致pq驱动返回”sorry, too many clients already”错误 。
为了避免这个错误 ， 将池中打开的连接数量限制在100以下是有意义的，可以为其他需要使用PostgreSQL的应用程序或会话留下足够的空间 。
设置MaxOpenConns限制的另一个好处是，它充当一个非常基本的限流器，防止数据库同时被大量任务压垮 。
但设定上限有一个重要的警告 。如果达到MaxOpenConns限制，并且所有连接都在使用中，那么任何新的数据库任务将被迫等待，直到有连接空闲 。在我们的API上下文中，用户的HTTP请求可能在等待空闲连接时无限期地“挂起” 。因此，为了缓解这种情况，使用上下文为数据库任务设置超时是很重要的 。我们将在书的后面解释如何处理 。
SetMaxIdleConns()方法的作用是：设置池中空闲连接数的上限 。缺省情况下，最大空闲连接数为2 。
理论上，在池中允许更多的空闲连接将增加性能 。因为它减少了从头建立新连接发生概率—，因此有助于节省资源 。
但要意识到保持空闲连接是有代价的 。它占用了本来可以用于应用程序和数据库的内存，而且如果一个连接空闲时间过长，它也可能变得不可用 。例如，默认情况下MySQL会自动关闭任何8小时未使用的连接 。
因此 ， 与使用更小的空闲连接池相比，将MaxIdleConns设置得过高可能会导致更多的连接变得不可用 ， 浪费资源 。因此保持适量的空闲连接是必要的 。理想情况下 ， 你只希望保持一个连接空闲，可以快速使用 。
另一件要指出的事情是MaxIdleConns值应该总是小于或等于MaxOpenConns 。Go会强制保证这点 ， 并在必要时自动减少MaxIdleConns值 。
SetConnMaxLifetime()方法用于设置ConnMaxLifetime的极限值 ， 表示一个连接保持可用的最长时间 。默认连接的存活时间没有限制 ， 永久可用 。
如果设置ConnMaxLifetime的值为1小时，意味着所有的连接在创建后，经过一个小时就会被标记为失效连接，标志后就不可复用 。但需要注意：
理论上，ConnMaxLifetime为无限大（或设置为很长生命周期）将提升性能，因为这样可以减少新建连接 。但是在某些情况下，设置短期存活时间有用 。比如：
如果您决定对连接池设置ConnMaxLifetime ， 那么一定要记住连接过期(然后重新创建)的频率 。例如，如果连接池中有100个打开的连接，而ConnMaxLifetime为1分钟，那么您的应用程序平均每秒可以杀死并重新创建多达1.67个连接 。您不希望频率太大而最终影响性能吧 。
SetConnMaxIdleTime()方法在Go 1.15版本引入对ConnMaxIdleTime进行配置 。其效果和ConnMaxLifeTime类似，但这里设置的是：在被标记为失效之前一个连接最长空闲时间 。例如，如果我们将ConnMaxIdleTime设置为1小时，那么自上次使用以后在池中空闲了1小时的任何连接都将被标记为过期并被后台清理操作删除 。
这个配置非常有用，因为它意味着我们可以对池中空闲连接的数量设置相对较高的限制，但可以通过删除不再真正使用的空闲连接来周期性地释放资源 。
所以有很多信息要吸收 。这在实践中意味着什么？我们把以上所有的内容总结成一些可行的要点 。
1、根据经验 ， 您应该显式地设置MaxOpenConns值 。这个值应该低于数据库和操作系统对连接数量的硬性限制，您还可以考虑将其保持在相当低的水平，以充当基本的限流作用 。
对于本书中的项目，我们将MaxOpenConns限制为25个连接 。我发现这对于小型到中型的web应用程序和API来说是一个合理的初始值，但理想情况下，您应该根据基准测试和压测结果调整这个值 。
2、通常，更大的MaxOpenConns和MaxIdleConns值会带来更好的性能 。但是，效果是逐渐降低的，而且您应该注意，太多的空闲连接(连接没有被复用)实际上会导致性能下降和不必要的资源消耗 。
因为MaxIdleConns应该总是小于或等于MaxOpenConns，所以对于这个项目 ， 我们还将MaxIdleConns限制为25个连接 。
3、为了降低上面第2点的风险，通常应该设置ConnMaxIdleTime值来删除长时间未使用的空闲连接 。在这个项目中，我们将设置ConnMaxIdleTime持续时间为15分钟 。
4、ConnMaxLifetime默认设置为无限大是可以的 ， 除非您的数据库对连接生命周期施加了硬限制 ， 或者您需要它协助一些操作 ， 比如优雅地交换数据库 。这些都不适用于本项目，所以我们将保留这个默认的无限制配置 。
与其硬编码这些配置，不如更新cmd/api/main.go文件通过命令行参数读取配置 。
ConnMaxIdleTime值比较有意思，因为我们希望它传递一段时间，最终需要将其转换为Go的time.Duration类型 。这里有几个选择:
1、我们可以使用一个整数来表示秒(或分钟)的数量，并将其转换为time.Duration 。
2、我们可以使用一个表示持续时间的字符串——比如“5s”(5秒)或“10m”(10分钟)——然后使用time.ParseDuration()函数解析它 。
3、两种方法都可以很好地工作，但是在这个项目中我们将使用选项2 。继续并更新cmd/api/main.go文件如下:
File: cmd/api/main.go
go语言TCP连接池rocket049/connpool使用安装：
go get -v -u github.com/rocket049/connpool
go get -v -u gitee.com/rocket049/connpool
rocket049/connpool 包是本人用go语言开发的，提供一个通用的TCP连接池，初始化参数包括最高连接数、超时秒数、连接函数，放回连接池的连接被重新取出时，如果已经超时 ， 将会自动重新连接；如果没有超时，连接将被复用 。
可调用的函数：
调用示例：
【开源go语言数据库连接池 gin 数据库连接池】关于开源go语言数据库连接池和gin 数据库连接池的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站 。

    推荐阅读


    上一篇：雅马哈sap，雅马哈电子钢琴专卖店

    下一篇：net软件开发试题，计算机软件开发net