锐客网

  1. 首页 > 生活百科 > it技术 > >

go语言delete go语言的零拷贝

IT技术map

golang map delete 会释放value吗不会释放value，仅仅标记为不可用，但实际内存还是在占用
package main
import (
"log"
"runtime"
)
var intMap map[int]int
var cnt = 8192
【go语言delete go语言的零拷贝】func main() {
printMemStats()
initMap()
runtime.GC()
printMemStats()
log.Println(len(intMap))
for i := 0; icnt; i{
delete(intMap, i)
}
log.Println(len(intMap))
runtime.GC()
printMemStats()
intMap = nil
runtime.GC()
printMemStats()
}
func initMap() {
intMap = make(map[int]int, cnt)
for i := 0; icnt; i{
intMap[i] = i
}
}
func printMemStats() {
var m runtime.MemStats
runtime.ReadMemStats(m)
log.Printf("Alloc = %v TotalAlloc = %v Sys = %v NumGC = %v\n", m.Alloc/1024, m.TotalAlloc/1024, m.Sys/1024, m.NumGC)
}
Go语言——sync.Map详解 sync.Map是1.9才推荐的并发安全的map，除了互斥量以外，还运用了原子操作 ， 所以在这之前 ， 有必要了解下 Go语言——原子操作
go1.10\src\sync\map.go
entry分为三种情况：
从read中读取key，如果key存在就tryStore 。
注意这里开始需要加锁，因为需要操作dirty 。
条目在read中 ， 首先取消标记，然后将条目保存到dirty里 。（因为标记的数据不在dirty里）
最后原子保存value到条目里面，这里注意read和dirty都有条目 。
总结一下Store：
这里可以看到dirty保存了数据的修改 ， 除非可以直接原子更新read，继续保持read clean 。
有了之前的经验，可以猜测下load流程：
与猜测的 区别 ：
由于数据保存两份，所以删除考虑：
先看第二种情况 。加锁直接删除dirty数据 。思考下貌似没什么问题，本身就是脏数据 。
第一种和第三种情况唯一的区别就是条目是否被标记 。标记代表删除，所以直接返回 。否则CAS操作置为nil 。这里总感觉少点什么，因为条目其实还是存在的，虽然指针nil 。
看了一圈貌似没找到标记的逻辑，因为删除只是将他变成nil 。
之前以为这个逻辑就是简单的将为标记的条目拷贝给dirty，现在看来大有文章 。
p == nil，说明条目已经被delete了 ， CAS将他置为标记删除 。然后这个条目就不会保存在dirty里面 。
这里其实就跟miss逻辑串起来了，因为miss达到阈值之后，dirty会全量变成read，也就是说标记删除在这一步最终删除 。这个还是很巧妙的 。
真正的删除逻辑：
很绕 。。。。
go语言postgresql数据库驱动怎么用PostgreSQL和MySQL比较go语言delete，它更加庞大一点go语言delete，因为它是用来替代Oracle而设计go语言delete的 。所以在企业应用中采用PostgreSQL是一个明智的选择 。
现在MySQL被Oracle收购之后，有传闻Oracle正在逐步的封闭MySQL,,鉴于此，将来我们也许会选择PostgreSQL而不是MySQL作为项目的后端数据库 。
1、驱动
Go实现的支持PostgreSQL的驱动也很多，因为国外很多人在开发中使用go语言delete了这个数据库 。
支持database/sql驱动，纯Go写的
支持database/sql驱动 ， 纯Go写的
支持database/sql驱动，纯Go写的
在下面的示例中我采用了第一个驱动，因为它目前使用的人最多，在github上也比较活跃 。
2、实例代码
数据库建表语句go语言delete：
复制代码
CREATE TABLE userinfo
(
uid serial NOT NULL,
username character varying(100) NOT NULL,
departname character varying(500) NOT NULL,
Created date,
CONSTRAINT userinfo_pkey PRIMARY KEY (uid)
)
WITH (OIDS=FALSE);
CREATE TABLE userdeatail
(
uid integer,
intro character varying(100),
profile character varying(100)
)
WITH(OIDS=FALSE);
复制代码
看下面这个Go如何操作数据库表数据:增删改查
复制代码
package main
import (
"database/sql"
"fmt"
_ "github.com/bmizerany/pq"
)
func main() {
db, err := sql.Open("postgres", "user=astaxie password=astaxie dbname=test sslmode=disable")
checkErr(err)
//插入数据
stmt, err := db.Prepare("INSERT INTO userinfo(username,departname,created) VALUES($1,$2,$3) RETURNING uid")
checkErr(err)
res, err := stmt.Exec("astaxie", "研发部门", "2012-12-09")
checkErr(err)
//pg不支持这个函数，因为他没有类似MySQL的自增ID
id, err := res.LastInsertId()
checkErr(err)
fmt.Println(id)
//更新数据
stmt, err = db.Prepare("update userinfo set username=$1 where uid=$2")
checkErr(err)
res, err = stmt.Exec("astaxieupdate", 1)
checkErr(err)
affect, err := res.RowsAffected()
checkErr(err)
fmt.Println(affect)
//查询数据
rows, err := db.Query("SELECT * FROM userinfo")
checkErr(err)
for rows.Next() {
var uid int
var username string
var department string
var created string
err = rows.Scan(uid, username, department, created)
checkErr(err)
fmt.Println(uid)
fmt.Println(username)
fmt.Println(department)
fmt.Println(created)
}
//删除数据
stmt, err = db.Prepare("delete from userinfo where uid=$1")
checkErr(err)
res, err = stmt.Exec(1)
checkErr(err)
affect, err = res.RowsAffected()
checkErr(err)
fmt.Println(affect)
db.Close()
}
func checkErr(err error) {
if err != nil {
panic(err)
}
}
复制代码
从上面的代码我们可以看到，PostgreSQL是通过$1,$2这种方式来指定要传递的参数 ， 而不是MySQL中的? ， 另外在sql.Open中的dsn信息的格式也与MySQL的驱动中的dsn格式不一样 ， 所以在使用时请注意它们的差异 。
还有pg不支持LastInsertId函数，因为PostgreSQL内部没有实现类似MySQL的自增ID返回，其他的代码几乎是一模一样
go语言的webengine叫什么Java教程
Linux入门
更多
首页
?
Go语言WEB框架(Gin)详解
在 Go语言开发的 Web 框架中，有两款著名 Web 框架分别是 Martini 和 Gin，两款 Web 框架相比较的话，Gin 自己说它比 Martini 要强很多 。
Gin 是 Go语言写的一个 web 框架，它具有运行速度快 ， 分组的路由器，良好的崩溃捕获和错误处理，非常好的支持中间件和 json 。总之在 Go语言开发领域是一款值得好好研究的 Web 框架，开源网址：
首先下载安装 gin 包：
go get -u github.com/gin-gonic/gin
一个简单的例子：
package main
import "github.com/gin-gonic/gin"
func main() {
//Default返回一个默认的路由引擎
r := gin.Default()
r.GET("/ping", func(c *gin.Context) {
//输出json结果给调用方
c.JSON(200, gin.H{
"message": "pong",
})
})
r.Run() // listen and serve on 0.0.0.0:8080
}
编译运行程序，打开浏览器，访问页面显示：
{"message":"pong"}
gin 的功能不只是简单输出 Json 数据 。它是一个轻量级的 WEB 框架，支持 RestFull 风格 API，支持 GET，POST，PUT，PATCH，DELETE，OPTIONS 等 http 方法，支持文件上传 ， 分组路由，Multipart/Urlencoded FORM，以及支持 JsonP，参数处理等等功能 ， 这些都和 WEB 紧密相关，通过提供这些功能 ， 使开发人员更方便地处理 WEB 业务 。
Gin 实际应用
接下来使用 Gin 作为框架来搭建一个拥有静态资源站点 ， 动态 WEB 站点，以及 RESTFull API 接口站点（可专门作为手机 APP 应用提供服务使用）组成的，亦可根据情况分拆这套系统，每种功能独立出来单独提供服务 。
下面按照一套系统但采用分站点来说明，首先是整个系统的目录结构，website 目录下面 static 是资源类文件 ， 为静态资源站点专用；photo 目录是 UGC 上传图片目录 ， tpl 是动态站点的模板 。
当然这个目录结构是一种约定，可以根据情况来修改 。整个项目已经开源 ， 可以访问来详细了解：具体每个站点的功能怎么实现呢？请看下面有关每个功能的讲述：
静态资源站点
一般网站开发中 ， 我们会考虑把 js，css，以及资源图片放在一起，作为静态站点部署在 CDN ， 提升响应速度 。采用 Gin 实现起来非常简单，当然也可以使用 net/http 包轻松实现，但使用 Gin 会更方便 。
不管怎么样 ， 使用 Go 开发，我们可以不用花太多时间在 WEB 服务环境搭建上 ， 程序启动就直接可以提供 WEB 服务了 。
package main
import (
"net/http"
"github.com/gin-gonic/gin"
)
func main() {
router := gin.Default()
// 静态资源加载，本例为css,js以及资源图片
router.StaticFS("/public", http.Dir("D:/goproject/src/github.com/ffhelicopter/tmm/website/static"))
router.StaticFile("/favicon.ico", "./resources/favicon.ico")
// Listen and serve on 0.0.0.0:80
router.Run(":80")
}
首先需要是生成一个 Engine，这是 gin 的核心，默认带有 Logger 和 Recovery 两个中间件 。
router := gin.Default()
StaticFile 是加载单个文件，而 StaticFS 是加载一个完整的目录资源：
func (group *RouterGroup) StaticFile(relativePath, filepath string) IRoutes
func (group *RouterGroup) StaticFS(relativePath string, fs http.FileSystem) IRoutes
这些目录下资源是可以随时更新，而不用重新启动程序 。现在编译运行程序，静态站点就可以正常访问了 。
彻底理解Golang Map 本文目录如下，阅读本文后，将一网打尽下面Golang Map相关面试题
Go中的map是一个指针，占用8个字节，指向hmap结构体;源码 src/runtime/map.go 中可以看到map的底层结构
每个map的底层结构是hmap，hmap包含若干个结构为bmap的bucket数组 。每个bucket底层都采用链表结构 。接下来，我们来详细看下map的结构
bmap就是我们常说的“桶”，一个桶里面会最多装 8 个 key，这些 key 之所以会落入同一个桶，是因为它们经过哈希计算后，哈希结果是“一类”的，关于key的定位我们在map的查询和插入中详细说明 。在桶内，又会根据 key 计算出来的 hash 值的高 8 位来决定 key 到底落入桶内的哪个位置（一个桶内最多有8个位置) 。
bucket内存数据结构可视化如下：
注意到 key 和 value 是各自放在一起的，并不是key/value/key/value/...这样的形式 。源码里说明这样的好处是在某些情况下可以省略掉 padding字段 ， 节省内存空间 。
当 map 的 key 和 value 都不是指针 ， 并且 size 都小于 128 字节的情况下 ， 会把 bmap 标记为不含指针，这样可以避免 gc 时扫描整个 hmap 。但是，我们看 bmap 其实有一个 overflow 的字段，是指针类型的，破坏了 bmap 不含指针的设想，这时会把 overflow 移动到 extra 字段来 。
map是个指针，底层指向hmap，所以是个引用类型
golang 有三个常用的高级类型 slice 、map、channel,它们都是 引用类型，当引用类型作为函数参数时，可能会修改原内容数据 。
golang 中没有引用传递，只有值和指针传递 。所以 map 作为函数实参传递时本质上也是值传递，只不过因为 map 底层数据结构是通过指针指向实际的元素存储空间，在被调函数中修改 map，对调用者同样可见，所以 map 作为函数实参传递时表现出了引用传递的效果 。
因此，传递 map 时，如果想修改map的内容而不是map本身，函数形参无需使用指针
map底层数据结构是通过指针指向实际的元素 存储空间，这种情况下，对其中一个map的更改，会影响到其他map
map 在没有被修改的情况下，使用 range 多次遍历 map 时输出的 key 和 value 的顺序可能不同 。这是 Go 语言的设计者们有意为之，在每次 range 时的顺序被随机化，旨在提示开发者们 ， Go 底层实现并不保证 map 遍历顺序稳定 ， 请大家不要依赖 range 遍历结果顺序 。
map 本身是无序的，且遍历时顺序还会被随机化，如果想顺序遍历 map，需要对 map key 先排序，再按照 key 的顺序遍历 map 。
map默认是并发不安全的，原因如下：
Go 官方在经过了长时间的讨论后 ， 认为 Go map 更应适配典型使用场景（不需要从多个 goroutine 中进行安全访问），而不是为了小部分情况（并发访问），导致大部分程序付出加锁代价（性能），决定了不支持 。
场景:2个协程同时读和写，以下程序会出现致命错误：fatal error: concurrent map writes
如果想实现map线程安全，有两种方式：
方式一：使用读写锁mapsync.RWMutex
方式二：使用golang提供的sync.Map
sync.map是用读写分离实现的 ， 其思想是空间换时间 。和map RWLock的实现方式相比 ， 它做了一些优化：可以无锁访问read map，而且会优先操作read map，倘若只操作read map就可以满足要求(增删改查遍历)，那就不用去操作write map(它的读写都要加锁)，所以在某些特定场景中它发生锁竞争的频率会远远小于map RWLock的实现方式 。
golang中map是一个kv对集合 。底层使用hash table，用链表来解决冲突，出现冲突时，不是每一个key都申请一个结构通过链表串起来 ， 而是以bmap为最小粒度挂载，一个bmap可以放8个kv 。在哈希函数的选择上，会在程序启动时，检测 cpu 是否支持 aes，如果支持 ， 则使用 aes hash，否则使用 memhash 。
map有3钟初始化方式，一般通过make方式创建
map的创建通过生成汇编码可以知道，make创建map时调用的底层函数是 runtime.makemap。如果你的map初始容量小于等于8会发现走的是 runtime.fastrand 是因为容量小于8时不需要生成多个桶，一个桶的容量就可以满足
makemap函数会通过fastrand创建一个随机的哈希种子 ， 然后根据传入的hint计算出需要的最小需要的桶的数量，最后再使用makeBucketArray 创建用于保存桶的数组，这个方法其实就是根据传入的B计算出的需要创建的桶数量在内存中分配一片连续的空间用于存储数据，在创建桶的过程中还会额外创建一些用于保存溢出数据的桶，数量是2^(B-4)个 。初始化完成返回hmap指针 。
找到一个 B ， 使得 map 的装载因子在正常范围内
Go 语言中读取 map 有两种语法：带 comma 和 不带 comma 。当要查询的 key 不在 map 里，带 comma 的用法会返回一个 bool 型变量提示 key 是否在 map 中；而不带 comma 的语句则会返回一个 value 类型的零值 。如果 value 是 int 型就会返回 0，如果 value 是 string 类型，就会返回空字符串 。
map的查找通过生成汇编码可以知道，根据 key 的不同类型，编译器会将查找函数用更具体的函数替换，以优化效率：
函数首先会检查 map 的标志位 flags 。如果 flags 的写标志位此时被置 1 了 ， 说明有其他协程在执行“写”操作，进而导致程序 panic 。这也说明了 map 对协程是不安全的 。
key经过哈希函数计算后，得到的哈希值如下（主流64位机下共 64 个 bit 位）：
m: 桶的个数
从buckets 通过 hashm 得到对应的bucket，如果bucket正在扩容，并且没有扩容完成，则从oldbuckets得到对应的bucket
计算hash所在桶编号：
用上一步哈希值最后的 5 个 bit 位，也就是01010 ，值为 10，也就是 10 号桶（范围是0~31号桶）
计算hash所在的槽位:
用上一步哈希值哈希值的高8个bit 位，也就是 10010111 ，转化为十进制 ， 也就是151，在 10 号 bucket 中寻找** tophash 值（HOB hash）为 151* 的 槽位**，即为key所在位置，找到了 2 号槽位，这样整个查找过程就结束了 。
如果在 bucket 中没找到 ， 并且 overflow 不为空，还要继续去 overflow bucket 中寻找，直到找到或是所有的 key 槽位都找遍了 ， 包括所有的 overflow bucket 。
通过上面找到了对应的槽位，这里我们再详细分析下key/value值是如何获取的：
bucket 里 key 的起始地址就是 unsafe.Pointer(b) dataOffset 。第 i 个 key 的地址就要在此基础上跨过 i 个 key 的大?。欢颐怯种?，value 的地址是在所有 key 之后，因此第 i 个 value 的地址还需要加上所有 key 的偏移 。
通过汇编语言可以看到，向 map 中插入或者修改 key ， 最终调用的是mapassign函数 。
实际上插入或修改 key 的语法是一样的，只不过前者操作的 key 在 map 中不存在，而后者操作的 key 存在 map 中 。
mapassign 有一个系列的函数，根据 key 类型的不同，编译器会将其优化为相应的“快速函数” 。
我们只用研究最一般的赋值函数mapassign。
map的赋值会附带着map的扩容和迁移，map的扩容只是将底层数组扩大了一倍，并没有进行数据的转移 ， 数据的转移是在扩容后逐步进行的，在迁移的过程中每进行一次赋值（access或者delete）会至少做一次迁移工作 。
1.判断map是否为nil
每一次进行赋值/删除操作时，只要oldbuckets != nil 则认为正在扩容 ， 会做一次迁移工作，下面会详细说下迁移过程
根据上面查找过程，查找key所在位置，如果找到则更新，没找到则找空位插入即可
经过前面迭代寻找动作，若没有找到可插入的位置，意味着需要扩容进行插入，下面会详细说下扩容过程
通过汇编语言可以看到 ， 向 map 中删除 key，最终调用的是mapdelete函数
删除的逻辑相对比较简单 ， 大多函数在赋值操作中已经用到过，核心还是找到 key 的具体位置 。寻找过程都是类似的，在 bucket 中挨个 cell 寻找 。找到对应位置后，对 key 或者 value 进行“清零”操作，将 count 值减 1，将对应位置的 tophash 值置成Empty
再来说触发 map 扩容的时机：在向 map 插入新 key 的时候 ， 会进行条件检测，符合下面这 2 个条件，就会触发扩容：
1、装载因子超过阈值
源码里定义的阈值是 6.5 (loadFactorNum/loadFactorDen) ， 是经过测试后取出的一个比较合理的因子
我们知道，每个 bucket 有 8 个空位，在没有溢出，且所有的桶都装满了的情况下，装载因子算出来的结果是 8 。因此当装载因子超过 6.5 时 ， 表明很多 bucket 都快要装满了，查找效率和插入效率都变低了 。在这个时候进行扩容是有必要的 。
对于条件 1 ， 元素太多，而 bucket 数量太少，很简单：将 B 加 1，bucket 最大数量( 2^B )直接变成原来 bucket 数量的 2 倍 。于是，就有新老 bucket 了 。注意 ， 这时候元素都在老 bucket 里，还没迁移到新的 bucket 来 。新 bucket 只是最大数量变为原来最大数量的 2 倍( 2^B * 2 )。
2、overflow 的 bucket 数量过多
在装载因子比较小的情况下，这时候 map 的查找和插入效率也很低，而第 1 点识别不出来这种情况 。表面现象就是计算装载因子的分子比较?。?即 map 里元素总数少，但是 bucket 数量多（真实分配的 bucket 数量多，包括大量的 overflow bucket）
不难想像造成这种情况的原因：不停地插入、删除元素 。先插入很多元素，导致创建了很多 bucket，但是装载因子达不到第 1 点的临界值，未触发扩容来缓解这种情况 。之后，删除元素降低元素总数量，再插入很多元素，导致创建很多的 overflow bucket，但就是不会触发第 1 点的规定，你能拿我怎么办？overflow bucket 数量太多，导致 key 会很分散，查找插入效率低得吓人，因此出台第 2 点规定 。这就像是一座空城，房子很多 ， 但是住户很少，都分散了，找起人来很困难
对于条件 2，其实元素没那么多，但是 overflow bucket 数特别多，说明很多 bucket 都没装满 。解决办法就是开辟一个新 bucket 空间，将老 bucket 中的元素移动到新 bucket，使得同一个 bucket 中的 key 排列地更紧密 。这样，原来，在 overflow bucket 中的 key 可以移动到 bucket 中来 。结果是节省空间，提高 bucket 利用率，map 的查找和插入效率自然就会提升 。
由于 map 扩容需要将原有的 key/value 重新搬迁到新的内存地址，如果有大量的 key/value 需要搬迁 ， 会非常影响性能 。因此 Go map 的扩容采取了一种称为“渐进式”的方式 ， 原有的 key 并不会一次性搬迁完毕，每次最多只会搬迁 2 个 bucket 。
上面说的hashGrow()函数实际上并没有真正地“搬迁”，它只是分配好了新的 buckets ， 并将老的 buckets 挂到了 oldbuckets 字段上 。真正搬迁 buckets 的动作在growWork()函数中，而调用growWork()函数的动作是在 mapassign 和 mapdelete 函数中 。也就是插入或修改、删除 key 的时候，都会尝试进行搬迁 buckets 的工作 。先检查 oldbuckets 是否搬迁完毕，具体来说就是检查 oldbuckets 是否为 nil 。
如果未迁移完毕，赋值/删除的时候，扩容完毕后（预分配内存），不会马上就进行迁移 。而是采取 增量扩容 的方式，当有访问到具体 bukcet 时，才会逐渐的进行迁移（将 oldbucket 迁移到 bucket）
nevacuate 标识的是当前的进度，如果都搬迁完，应该和2^B的长度是一样的
在evacuate 方法实现是把这个位置对应的bucket ， 以及其冲突链上的数据都转移到新的buckets上 。
转移的判断直接通过tophash 就可以，判断tophash中第一个hash值即可
遍历的过程，就是按顺序遍历 bucket，同时按顺序遍历 bucket 中的 key 。
map遍历是无序的，如果想实现有序遍历，可以先对key进行排序
为什么遍历 map 是无序的？
如果发生过迁移，key 的位置发生了重大的变化，有些 key 飞上高枝，有些 key 则原地不动 。这样，遍历 map 的结果就不可能按原来的顺序了 。
如果就一个写死的 map ， 不会向 map 进行插入删除的操作，按理说每次遍历这样的 map 都会返回一个固定顺序的 key/value 序列吧 。但是 Go 杜绝了这种做法，因为这样会给新手程序员带来误解，以为这是一定会发生的事情，在某些情况下 ， 可能会酿成大错 。
Go 做得更绝，当我们在遍历 map 时，并不是固定地从 0 号 bucket 开始遍历，每次都是从一个**随机值序号的 bucket开始遍历，并且是从这个 bucket 的一个 随机序号的 cell **开始遍历 。这样，即使你是一个写死的 map，仅仅只是遍历它，也不太可能会返回一个固定序列的 key/value 对了 。
关于go语言delete和go语言的零拷贝的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息 ， 记得收藏关注本站 。

    推荐阅读


    上一篇：公众号视频如何过原创，微信公众号视频消息怎么原创

    下一篇：ios飞行射击游戏2017，苹果飞行射击类手游