学习Disruptor时的一些联想和总结
一、前言
? 前两天整log4j2的时候不是碰到Disruptor了嘛,想着能不能从这个吹爆了的并发框架里汲取些性能优化的思路呢。稍微学习下源码,还真是有收获的。
文章图片
二、RingBuffer
? 大致看了下,好像所有的点都和RingBuffer有关,就将标题写成RingBuffer。
- Disruptor在初始化的时候创建指定大小的RingBuffer,创建之后大小恒定,不会自动扩容,避免了
频繁扩容
的性能损耗;【可以联想到List、Map、StringBuilder、StringBuffer
些自动扩容的骚玩意儿】
RingBuffer
中存放数据的核心是entries
的数组变量,RingBuffer
初始化的时候会进行数据预分配
【是不是类似一些池化的东西】,将数组填满;【数据内容为自定义的event对象】。这段逻辑在RingBuffer的父类RingBufferFields
实现中可以看到:
RingBufferFields(
EventFactory eventFactory,
Sequencer sequencer)
{
this.sequencer = sequencer;
this.bufferSize = sequencer.getBufferSize();
if (bufferSize < 1)
{
throw new IllegalArgumentException("bufferSize must not be less than 1");
}
if (Integer.bitCount(bufferSize) != 1)
{
throw new IllegalArgumentException("bufferSize must be a power of 2");
}
this.indexMask = bufferSize - 1;
this.entries = new Object[sequencer.getBufferSize() + 2 * BUFFER_PAD];
// 预分配对象
fill(eventFactory);
}
private void fill(EventFactory eventFactory)
{
for (int i = 0;
i < bufferSize;
i++)
{
entries[BUFFER_PAD + i] = eventFactory.newInstance();
}
}
RingBuffer
相比较其他环形数据结构,基于数组
实现【可以充分利用CPU cache line
,高性能】,没有尾指针,只有一个next指针,指向下一个可用位置。
RingBuffer
循环写的核心思想是,使用sequence的下标和bufferSize进行取模运算,实际使用的位运算【联想到HashMap的数组定位】,在二进制环境下,位运算
比mod
运算性能高很多。
RingBuffer
不会主动清除已经消费过的对象信息,只会覆盖先前的数据,而覆盖操作其实是自定义event对象属性的覆盖。这里实现了对象重用,降低了GC压力
。
对象重用在某些地方对性能提升简直就是起飞模式,特别对于那些频繁初始化的重类
比如xstream
,或者可能会涉及类加载这种耗时操作的,尽可能使用单例模式
或者对象池
进行操作。
- Disruptor充分利用了CPU cache line的强大性能,为了
解决伪共享
的问题,在频繁使用的Sequence
类和RingBuffer
类中,可以看到很多用来填充对齐的long变量;Sequence在处理的时候在左右分别设置7位padding long【缓存填充数据】保证独占缓存行;
class LhsPadding
{
protected long p1, p2, p3, p4, p5, p6, p7;
}class Value extends LhsPadding
{
protected volatile long value;
}class RhsPadding extends Value
{
protected long p9, p10, p11, p12, p13, p14, p15;
}
同样的操作在
RingBuffer
中:abstract class RingBufferPad
{
protected long p1, p2, p3, p4, p5, p6, p7;
}abstract class RingBufferFields extends RingBufferPad
{
private static final int BUFFER_PAD;
private static final long REF_ARRAY_BASE;
private static final int REF_ELEMENT_SHIFT;
private static final Unsafe UNSAFE = Util.getUnsafe();
....
}public final class RingBuffer extends RingBufferFields implements Cursored, EventSequencer, EventSink
{
public static final long INITIAL_CURSOR_VALUE = https://www.it610.com/article/Sequence.INITIAL_VALUE;
protected long p1, p2, p3, p4, p5, p6, p7;
....
}
- 还有就是Disruptor的大思想,
无锁化
。Disruptor中,除了WaitStrategy
那块涉及到ReentrantLock
外,基本就没有其他锁的操作,要么就是CAS
。在多线程环境下,线程数越多,线程程竞争越激烈,锁的开销越大。这里甚至可以联想到一些无锁串行化
的应用实现,比如redis,netty。
还有类似的其他无锁的框架:java.util.concurrent.atomic
包、Amino框架
。
推荐阅读
- 任时光绽放成六月繁花
- 一个人的碎碎念
- 昨夜小楼听风
- 20170612时间和注意力开销记录
- 远去的风筝
- 为什么你的路演总会超时()
- 杜月笙的口才
- 时间老了
- 由浅入深理解AOP
- MediaRecorder前后摄像头同时录像