#yyds干货盘点# 来,听我讲讲常用并发容器

亦余心之所善兮,虽九死其犹未悔。这篇文章主要讲述#yyds干货盘点# 来,听我讲讲常用并发容器相关的知识,希望能为你提供帮助。
常用并发容器前几天和同事xhf、zm走查代码,功能是为了减少频繁你创建FTP开销用线程notify和wait实现了一个FTP池子,当时提的建议就是用java自带的线程集合实现可能更高效,本文整理下JDK自带线程安全的集合,不考虑多线程并发的情况下,容器类一般使用 ArrayList、HashMap 等线程不安全的类,效率更高。在并发场景下,常会用到ConcurrentHashMap、ArrayBlockingQueue 等线程安全的容器类,虽然牺牲了一些效率,但却得到了安全。
什么是线程安全:线程安全一般指的就是线程同步的意思,就是当一个程序对一个线程安全的方法或者语句进行访问的时候,其他的不能再对他进行操作了,必须等到这次访问结束以后才能对这个线程安全的方法进行访问。
【#yyds干货盘点# 来,听我讲讲常用并发容器】线程非安全用hashmap举例试下:

public class TestThreadSafe private Map< String, Integer> persons = new HashMap< > (); private AtomicInteger count = new AtomicInteger(0); @Test public void test() throws Exception for (int i = 0; i < 10000; i++) int age = i; new Thread(()-> addName("steven"+ age, age)).start(); TimeUnit.SECONDS.sleep(10); System.out.println("count is:"+count.get()+",persons:"+persons.size()); private void addName(String name, int age) persons.put(name, age); count.addAndGet(1); 输出: count is:10000,persons:9996

可以看到addName方法执行了10000次但是真正添加成功的有9996次,这就是由于多线程并发put时会因为size++问题导致覆盖问题(jdk8,jdk7时当并发执行扩容操作时会造成环形链和数据丢失的情况)使用concurrenthashmap时就不会出现此线程安全问题。
1.ConcurrentHashMap 并发版 HashMap最常见的并发容器之一,可以用作并发场景下的缓存。底层依然是哈希表,但在 JAVA 8 中有了不小的改变,而 JAVA 7 和 JAVA 8 都是用的比较多的版本,因此经常会将这两个版本的实现方式做一些比较(比如面试中)。
一个比较大的差异就是,JAVA 7 中采用分段锁来减少锁的竞争,JAVA 8 中放弃了分段锁,采用 CAS(一种乐观锁),同时为了防止哈希冲突严重时退化成链表(冲突时会在该位置生成一个链表,哈希值相同的对象就链在一起),会在链表长度达到阈值(8)后转换成红黑树(比起链表,树的查询效率更稳定)。
除了key和value不能为null外,其余方法和hashMap几乎一样
常用方法
@Test public void test_function() throws Exception ConcurrentHashMap< String, String> data = https://www.songbingjia.com/android/new ConcurrentHashMap< > (); data.put("Steven","18"); System.out.println(data.get("Steven"));

2.CopyOnWriteArrayList 并发版 ArrayList并发版 ArrayList,底层结构也是数组,和 ArrayList 不同之处在于:当新增和删除元素时会创建一个新的数组,在新的数组中增加或者排除指定对象,最后用新增数组替换原来的数组。
适用场景:由于读操作不加锁,写(增、删、改)操作加锁,因此适用于读多写少的场景。
局限:由于读的时候不会加锁(读的效率高,就和普通 ArrayList 一样),读取的当前副本,因此可能读取到脏数据。
核心方法可以看出add元素时加锁同时复制了一个数组:
public boolean add(E e) final ReentrantLock lock = this.lock; lock.lock(); try Object[] elements = getArray(); int len = elements.length; Object[] newElements = Arrays.copyOf(elements, len + 1); newElements[len] = e; setArray(newElements); return true; finally lock.unlock();

常用方法:
@Test public void test_function() throws Exception CopyOnWriteArrayList< String> data = https://www.songbingjia.com/android/new CopyOnWriteArrayList< > (); data.add("Steven"); System.out.println(data.get(0));

3.CopyOnWriteArraySet 并发 Set基于 CopyOnWriteArrayList 实现(内含一个 CopyOnWriteArrayList 成员变量),也就是说底层是一个数组,意味着每次 add 都要遍历整个集合才能知道是否存在,不存在时需要插入(加锁)。
适用场景:在 CopyOnWriteArrayList 适用场景读多写少且集合元素不是太多的场景。
核心方法可以看出内部维护一个CopyOnWriteArrayList添加时判断是否存在,不存在时调用CopyOnWriteArrayList的add方法
public class CopyOnWriteArraySet< E> extends AbstractSet< E> private final CopyOnWriteArrayList< E> al; /** * Creates an empty set. */ public CopyOnWriteArraySet() al = new CopyOnWriteArrayList< E> (); public boolean addIfAbsent(E e) Object[] snapshot = getArray(); return indexOf(e, snapshot, 0, snapshot.length) > = 0 ? false : addIfAbsent(e, snapshot);

常用方法:
@Test public void test_function() throws Exception CopyOnWriteArraySet< String> data = https://www.songbingjia.com/android/new CopyOnWriteArraySet< > (); data.add("Steven"); System.out.println(data.stream().findFirst().get());

4.ConcurrentLinkedQueue 并发队列 (基于链表)一个基于链接节点的无界线程安全队列。此队列按照 FIFO(先进先出)原则对元素进行排序。队列的头部是队列中时间最长的元素。队列的尾部 是队列中时间最短的元素。新的元素插入到队列的尾部,队列获取操作从队列头部获得元素。当多个线程共享访问一个公共 collection 时,ConcurrentLinkedQueue 是一个恰当的选择。此队列不允许使用 null 元素。因为数据结构是链表,所以理论上是没有队列大小限制的,也就是说添加数据一定能成功。队列用的相对少一点,所以把方法都列举一下:
  • booleanadd(E e)将指定元素插入此队列的尾部和offer方法完全相同
  • booleancontains(Object o) 如果此队列包含指定元素,则返回 true。
  • booleanisEmpty() 如果此队列不包含任何元素,则返回 true。
  • Iterator< E> iterator()返回在此队列元素上以恰当顺序进行迭代的迭代器。
  • booleanoffer(E e) 将指定元素插入此队列的尾部。
  • E peek()获取但不移除此队列的头;如果此队列为空,则返回 null。
  • E poll() 获取并移除此队列的头,如果此队列为空,则返回 null。
  • booleanremove(Object o) 从队列中移除指定元素的单个实例(如果存在)。
  • intsize()返回此队列中的元素数量。
  • Object[] toArray() 返回以恰当顺序包含此队列所有元素的数组。
  • < T> T[]
  • toArray(T[] a)返回以恰当顺序包含此队列所有元素的数组;返回数组的运行时类型是指定数组的运行时类型。
    @Test
    public void test_function() throws Exception
    ConcurrentLinkedQueue< String> data = https://www.songbingjia.com/android/new ConcurrentLinkedQueue< > ();
    data.add("Steven"); data.offer("Steven2"); System.out.println(data.peek() + ",size:" + data.size()); System.out.println(data.poll() + ",size:" + data.size());


    输出:
    Steven,size:2
    Steven,size:1
5.ConcurrentLinkedDeque 并发队列 (基于双向链表)非阻塞队列,基于双向链表实现的并发队列,可以分别对头尾进行操作,因此除了先进先出 (FIFO),也可以先进后出(FILO),当然先进后出的话应该叫它栈了。现对于单向列表方法的添加,取出都增加了相应的XXFirst()和XXLast()方法:
@Test public void test_function() throws Exception ConcurrentLinkedDeque< String> data = https://www.songbingjia.com/android/new ConcurrentLinkedDeque< > (); data.addLast("Steven"); data.offerFirst("Steven2"); System.out.println(data.getLast() + ",size:" + data.size()); System.out.println(data.pollLast() + ",size:" + data.size()); 输出: Steven,size:2 Steven,size:1

6.ConcurrentSkipListMap 基于跳表的并发 MapSkipList 即跳表,跳表是一种空间换时间的数据结构,通过冗余数据,将链表一层一层索引,达到类似二分查找的效果,ConcurrentSkipListMap在JDK并发工具类使用范围不是很广,它是针对某一特殊需求而设计的——支持排序,同时支持搜索目标返回最接近匹配项的导航方法。一般情况下开发者很少会使用到该类,但是如果你有如上的特殊需求,那么ConcurrentSkipListMap将是一个很好地解决方案。
原理比较复杂以后再分析。
7.ConcurrentSkipListSet 基于跳表的并发 Set类似 HashSet 和 HashMap 的关系,ConcurrentSkipListSet 里面就是一个 ConcurrentSkipListMap,就不细说了。
8.ArrayBlockingQueue 阻塞队列 (基于数组)基于数组实现的可阻塞队列,构造时必须指定数组大小,往里面放东西时如果数组满了便会阻塞直到有位置(也支持直接返回和超时等待),通过一个锁 ReentrantLock 保证线程安全。
public class ArrayBlockingQueue< E> extends AbstractQueue< E> implements BlockingQueue< E> , java.io.Serializable /* * Concurrency control uses the classic two-condition algorithm * found in any textbook. *//** Main lock guarding all access */ final ReentrantLock lock; /** Condition for waiting takes */ private final Condition notEmpty; /** Condition for waiting puts */ private final Condition notFull; public E take() throws InterruptedException final ReentrantLock lock = this.lock; lock.lockInterruptibly(); try while (count == 0) notEmpty.await(); return dequeue(); finally lock.unlock(); public void put(E e) throws InterruptedException checkNotNull(e); final ReentrantLock lock = this.lock; lock.lockInterruptibly(); try while (count == items.length) notFull.await(); enqueue(e); finally lock.unlock();

通过put和take存取数据,读和写都是同一个锁,那要是空的时候正好一个读线程来了不会一直阻塞吗?答案就在 notEmpty、notFull 里,这两个出自 lock 的小东西让锁有了类似 synchronized + wait + notify 的功能。
/** Condition for waiting puts */ private final Condition notEmpty; /** Condition for waiting puts */ private final Condition notFull;

BlockingQueue 方法以四种形式出现,对于不能立即满足但可能在将来某一时刻可以满足的操作,这四种形式的处理方式不同:第一种是抛出一个异常,第二种是返回一个特殊值(null 或 false,具体取决于操作),第三种是在操作可以成功前,无限期地阻塞当前线程,第四种是在放弃前只在给定的最大时间限制内阻塞。下表中总结了这些方法:
抛出异常 特殊值 阻塞 超时
插入 add(e) offer(e)(false) put(e) offer(e, time, unit)
移除 remove() poll()(null) take() poll(time, unit)
检查 element() peek()(null) \\ \\
9.LinkedBlockingQueue 阻塞队列 (基于链表)基于链表实现的阻塞队列,相对于不阻塞的 ConcurrentLinkedQueue,它多了一个容量限制,如果不设置默认为 int 最大值。LinkedBlockingQueue保存元素的是一个链表。其内部有一个Node的内部类,其中有一个成员变量 Node next。就这样形成了一个链表的结构,要获取下一个元素,只要调用next就可以了。而ArrayBlockingQueue则是一个数组。
LinkedBlockingQueue内部读写(插入获取)各有一个锁,而ArrayBlockingQueue则读写共享一个锁,常用方法和ArrayBlockingQueue完全一样
/** Lock held by take, poll, etc */ private final ReentrantLock takeLock = new ReentrantLock(); /** Wait queue for waiting takes */ private final Condition notEmpty = takeLock.newCondition(); /** Lock held by put, offer, etc */ private final ReentrantLock putLock = new ReentrantLock(); /** Wait queue for waiting puts */ private final Condition notFull = putLock.newCondition();

10.LinkedBlockingDeque 阻塞队列 (基于双向链表)类似 LinkedBlockingQueue,但提供了双向链表特有的操作。
11.PriorityBlockingQueue 线程安全的优先队列构造时可以传入一个比较器,可以看做放进去的元素会被排序,然后读取的时候按顺序消费。某些低优先级的元素可能长期无法被消费,因为不断有更高优先级的元素进来。priorityBlockingQueue是一个无界队列,它没有限制,在内存允许的情况下可以无限添加元素;它又是具有优先级的队列,是通过构造函数传入的对象来判断,传入的对象必须实现comparable接口。
@Test public void test_function() throws Exception PriorityBlockingQueue< Integer> queue = new PriorityBlockingQueue< > (); queue.add(3); queue.add(2); queue.add(1); System.out.println(queue); System.out.println(queue.poll()); System.out.println(queue); 输出 [1, 3, 2] 1 [2, 3]

对结果分析,每次添加一个元素,PriorityBlockingQueue中的元素都会执行compareTo方法进行排序,但是只是把第一个元素排在首位,其他元素按照队列的一系列复杂算法排序。这就保障了每次获取到的元素都是经过排序的第一个元素。
12.SynchronousQueue 数据同步交换的队列一个虚假的队列,因为它实际上没有真正用于存储元素的空间,每个插入操作都必须有对应的取出操作,没取出时无法继续放入。
@Test public void test_function() throws Exception SynchronousQueue< String> queue = new SynchronousQueue< > (); new Thread(() -> try int i = 0; while (true) String name = "steven" + i++; System.out.println("增加:" + name); queue.put(name); catch (InterruptedException e) e.printStackTrace(); ).start(); new Thread(() -> while (true) try System.out.println("取出:" + queue.take()); TimeUnit.SECONDS.sleep(1); catch (InterruptedException e) e.printStackTrace(); ).start(); TimeUnit.MINUTES.sleep(10); 输出: 增加:steven0 取出:steven0 增加:steven1 取出:steven1 增加:steven2 取出:steven2 增加:steven3 取出:steven3

也就是说SynchronousQueue的队列大小是1
13.LinkedTransferQueue 基于链表的数据交换队列实现了接口 TransferQueue,通过 transfer 方法放入元素时,如果发现有线程在阻塞在取元素,会直接把这个元素给等待线程。如果没有人等着消费,那么会把这个元素放到队列尾部,并且此方法阻塞直到读取这个元素。和 SynchronousQueue 有点像,但比它更强大。调用add添加时不会再等待取出。
14.DelayQueue 延时队列可以使放入队列的元素在指定的延时后才被消费者取出,元素需要实现 Delayed 接口。延迟队列提供了在指定时间才能获取队列元素的功能,队列头元素是最接近过期的元素。没有过期元素的话,使用poll()方法会返回null值,超时判定是通过getDelay(TimeUnit.NANOSECONDS)方法的返回值小于等于0来判断。延时队列不能存放空元素。
DelayedQuene的元素存储交由优先级队列存放。
public class DelayQueue< E extends Delayed> extends AbstractQueue< E> implements BlockingQueue< E>
private final transient ReentrantLock lock = new ReentrantLock();
private final PriorityQueue< E> q = new PriorityQueue< E> (); //元素存放
DelayedQuene的优先级队列使用的排序方式是队列元素的compareTo方法,优先级队列存放顺序是从小到大的,所以队列元素的compareTo方法影响了队列的出队顺序。
若compareTo方法定义不当,会造成延时高的元素在队头,延时低的元素无法出队。
public E poll() final ReentrantLock lock = this.lock; lock.lock(); try E first = q.peek(); if (first == null || first.getDelay(NANOSECONDS) > 0) return null; else return q.poll(); finally lock.unlock(); /** * Retrieves and removes the head of this queue, waiting if necessary * until an element with an expired delay is available on this queue. * * @return the head of this queue * @throws InterruptedException @inheritDoc */ public E take() throws InterruptedException final ReentrantLock lock = this.lock; lock.lockInterruptibly(); try for (; ; ) E first = q.peek(); if (first == null)//没有元素,让出线程,等待java.lang.Thread.State#WAITING available.await(); else long delay = first.getDelay(NANOSECONDS); if (delay < = 0)// 已到期,元素出队 return q.poll(); first = null; // dont retain ref while waiting if (leader != null) available.await(); // 其它线程在leader线程TIMED_WAITING期间,会进入等待状态,这样可以只有一个线程去等待到时唤醒,避免大量唤醒操作 else Thread thisThread = Thread.currentThread(); leader = thisThread; try available.awaitNanos(delay); // 等待剩余时间后,再尝试获取元素,他在等待期间,由于leader是当前线程,所以其它线程会等待 finally if (leader == thisThread) leader = null; finally if (leader == null & & q.peek() != null) available.signal(); lock.unlock();

常用场景:缓存系统的设计,缓存中的对象,超过了空闲时间,需要从缓存中移出;任务调度系统,能够准确的把握任务的执行时间。可能需要通过线程处理很多时间上要求很严格的数据,如果使用普通的线程,我们就需要遍历所有的对象,一个一个的检 查看数据是否过期等,首先这样在执行上的效率不会太高,其次就是这种设计的风格也大大的影响了数据的精度。一个需要12:00点执行的任务可能12:01 才执行,这样对数据要求很高的系统有更大的弊端。此时可以使用DelayQueue。
总结这些并发容器能很好的解决日常大部分需求,可以学习原理,但不要重复造轮子况且轮子可能还不如这些。

    推荐阅读