goroutin 与 map 并发的采坑事件

goroutine 与 map 并发的采坑事件

1. goroutine 与map 的并发读写操作

在Go 1.6之前, 内置的map类型是部分goroutine安全的,并发的读没有问题,并发的写可能有问题。自go 1.6之后, 并发地读写map会报错,这在一些知名的开源库中都存在这个问题,所以go 1.9之前的解决方案是额外绑定一个锁,封装成一个新的struct或者单独使用锁都可以。

因为map为引用类型,所以即使函数传值调用,参数副本依然指向映射m, 所以多个goroutine并发写同一个映射m, 写过多线程程序的同学都知道,对于共享变量,资源,并发读写会产生竞争的, 故共享资源遭到破坏


1. 有并发问题的map

官方的Why are map operations not defined to be atomic? ]已经提到内建的map不是线程(goroutine)安全的。

… and in those cases where it did, the map was probably part of some larger data structure or computation that was already synchronized.

我们来看一下代码吧:

一个goroutine一直读,一个goroutine一只写同一个键值,即即使读写的键不相同,而且map也没有”扩容”等操作,代码还是会报错。

func main() {

    m := make(map[int]int)
    go func() {
        for {
            _ = m[1]
        }
    }()
    go func() {
        for {
            m[2] = 2
        }
    }()
    select {}
}

然后你会发现 运行不起:

fatal error: concurrent map read and map write

有时候数据竞争不是很容易发现,你可以输入:

go run --race main.go

进行查看。


2. Go 1.9之前的解决方案

你可以用互斥锁 sync.Mutex 也可以用读写锁 sync.RWMutex(性能好些)。

var counter = struct{
    sync.RWMutex
    m map[string]int
}{m: make(map[string]int)}

读数据的时候很方便的加锁:

counter.RLock()
n := counter.m["some_key"]
counter.RUnlock()
fmt.Println("some_key:", n)

写数据的时候:

counter.Lock()
counter.m["some_key"]++
counter.Unlock()

当然你也可以单独使用 读写锁进行读写加锁操作,只是如果有多个的情况下就没有嵌入结构体那么方便操作了。


3. 终极解决方案 sync.Map

可以说,上面的解决方案相当简洁,并且利用读写锁而不是Mutex可以进一步减少读写的时候因为锁带来的性能。

  • Store
  • LoadOrStore
  • Load
  • Delete
  • Range

Store(key, value interface{})

存 key,value 存储一个设置的键值。

LoadOrStore(key, value interface{}) (actual interface{}, loaded bool) > 返回键的现有值(如果存在),否则存储并返回给定的值,如果是读取则返回true,如果是存储返回false。

Load(key interface{}) (value interface{}, ok bool) > 读取存储在map中的值,如果没有值,则返回nil。OK的结果表示是否在map中找到值。

Delete(key interface{}) > 删除key,及其value

Range(f func(key, value interface{}) bool) > 循环读取map中的值.遍历所有的key,value

package main
 
import (
    "fmt"
    "sync"
)
 
func main() {
    var m sync.Map
 
    //Store
    m.Store(1,"a")
    m.Store(2,"b")
 
    //LoadOrStore
    //若key不存在,则存入key和value,返回false和输入的value
    v,ok := m.LoadOrStore("1","aaa")
    fmt.Println(ok,v) //false aaa
 
    //若key已存在,则返回true和key对应的value,不会修改原来的value
    v,ok = m.LoadOrStore(1,"aaa")
    fmt.Println(ok,v) //false aaa
 
    //Load
    v,ok = m.Load(1)
    if ok{
        fmt.Println("it's an existing key,value is ",v)
    } else {
        fmt.Println("it's an unknown key")
    }
 
    //Range
    //遍历sync.Map, 要求输入一个func作为参数
    f := func(k, v interface{}) bool {
        //这个函数的入参、出参的类型都已经固定,不能修改
        //可以在函数体内编写自己的代码,调用map中的k,v
 
            fmt.Println(k,v)
            return true
        }
    m.Range(f)
 
    //Delete
    m.Delete(1)
    fmt.Println(m.Load(1))
 
}

关于 其源码分析 可参考此文章