Go|Go map并发读写异常导致服务崩溃
昨天突然接到报警说服务端口丢失,也就是服务崩溃,看了错误日志,发现是map并发读写问题,记录下来,避免再犯类似错误。
分析错误日志
发现是调用json.Marshal时出错了,错误统计如下,都是并发读写map之类的异常。
229次错误:fatal error: concurrent map iteration and map write
193次错误:fatal error: concurrent map writes
129次错误:fatal error: concurrent map read and map write
xxx/xxx.go文件的114行:
func getFeatureMap(ctx context.Context, filters []*model.FiltersType, driverId int64) map[string]string {
var features []string
for _, filterRule := range filters {
param := filterRule.FilterMap
param["driver_id"] = strconv.FormatInt(driverId, 10)
featureKeys, _ := ufs.BuildKeyList(domain, []string{key}, param) // 114行
features = append(features, featureKeys...)
}
...
}
看起来就是传入的param这个map被多个协程并发写了,filterRule.FilterMap是全局变量,所以这里需要修改为深拷贝。
深拷贝的函数
// DeepCopyMap map[string]string 类型实现深拷贝
func DeepCopyMap(params map[string]string) map[string]string {
result := map[string]string{}
for k, v := range params {
result[k] = v
}
return result
}
调用深拷贝实现
把
param := filterRule.FilterMap
修改为 param := DeepCopyMap(filterRule.FilterMap)
一个简单的模拟示例
package mainimport (
"encoding/json"
"fmt"
"math/rand"
"strconv"
"sync"
"time"
)func main() { param := map[string]string{
"name": "andy",
"age":"30",
} f := func(i int) {
tempMap := param
//tempMap := DeepCopyMap(m) // 使用深度拷贝可以解决并发读写map的问题
tempMap["idx"] = strconv.Itoa(i)
time.Sleep(time.Millisecond * time.Duration(rand.Intn(10)))
json.Marshal(tempMap)
} var wg sync.WaitGroup
for i := 0;
i < 1000;
i++ {
wg.Add(1)
go func(idx int) {
defer wg.Done()
f(idx)
}(i)
}
wg.Wait() fmt.Println("Finish")
}// DeepCopyMap map[string]string 类型实现深拷贝
func DeepCopyMap(params map[string]string) map[string]string {
result := map[string]string{}
for k, v := range params {
result[k] = v
}
return result
}
【Go|Go map并发读写异常导致服务崩溃】执行上述代码,很容易报以下其中一个或多个的错误。
- fatal error: concurrent map iteration and map write
- fatal error: concurrent map writes
- fatal error: concurrent map read and map write
推荐阅读
- 分析|分析 java.util.LinkedHashMap
- 大数据|Hadoop-MapReduce
- 聊聊 Jmeter 如何并发执行 Python 脚本
- 云原生(K8s|菜鸟学Kubernetes(K8s)系列——(五)关于ConfigMap和Secret
- 手写hashmap
- ShardingSphere数据库读写分离
- MySql|数据库InnoDB-MVCC-多版本并发控制
- kubernetes(k8s) configmap.yaml 配置
- 博文视点IT荐书吧|多年亿级流量下的高并发经验总结,都毫无保留地写在了这本书中
- Redis|redis+lua 实现分布式令牌桶,高并发限流