一、自定义通信协议
通信协议：通信双方事先商量好的暗语。在TCP网络编程中，发送方和接收方的数据包格式都是二进制，发送方先将对象转化为二进制流发送给接收方，接收方获取二进制流后根据协议解析成对象。
当前通用的协议包括：HTTP、HTTPS、JSON-RPC、FTP、IMAP、Protobuf等。考虑到通信协议兼容性好、易于维护，在满足业务场景和性能需求时推荐采用通用协议，通信协议不满足要求时可以自定义通信协议。自定义通信协议的好处在于：
- 极致性能：通用协议考虑了很多兼容性的问题，性能有所损失。
- 扩展性：自定义协议更好扩展，更好满足业务需求。
- 安全性：通信协议是公开的，很多漏洞已经被黑客攻破。对于自定义协议，黑客需要先破解协议内容。
- 魔数：通信的一个暗号，通常采用固定的几个字节表示。用于防止任何人随便向服务器的端口上发送数据。接收方接收到数据后会先解析出魔书，如果魔书和约定的不匹配，认为是非法数据，直接关闭连接或者采取其他措施以增强系统的安全防护
- 协议版本号：随着业务需求的变化，协议可能需要对结构或者字段进行改动，不同版本的协议对应的解析方法也不同
- 序列化算法：表示数据发送方如何将请求对象转化为二进制流，以及如何再将二进制流转为对象
- 报文类型：不同的业务场景中，报文可能存在不同的类型。如，RPC框架中有请求、响应、心跳等类型的报文；IM即时通信中有登录、创建群聊、发送消息、接收消息、退出群聊等类型的报文
- 长度域字段：代表请求数据的长度，接收方根据该字段获取完整的报文
- 请求数据：序列化后的二进制流
- 状态：表示请求是否正常。一般由调用方设置。如：一次RPC调用失败，状态字段可以被服务提供方设置为异常状态
- 保留字段：为了应对协议升级的可能性，预留的若干字段
+---------------------------------------------------------------+
| 魔数 2byte | 协议版本号 1byte | 序列化算法 1byte | 报文类型 1byte|
+---------------------------------------------------------------+
| 状态 1byte |保留字段 4byte|数据长度 4byte|
+---------------------------------------------------------------+
|数据内容 （长度不定）|
+---------------------------------------------------------------+
二、Netty中自定义通信协议
Netty提供了丰富的编解码抽象类，用于我们更为方便地基于这些抽象类扩展实现自定义通信协议。
Netty编码类抽象类：
- MessageToByteEncoder类：将消息对象编码为二进制流
- MessageToMessageEncoder类：将一种消息类型编码为另一种消息类型
- ByteToMessageDecoder/ReplyingDecoder类：将二进制流解码为消息对象
- MessageToMessageDecoder类：将一种消息类型编码为另一种消息类型
- 一次编解码器：MessageToByteEncoder、ByteToMessageDecoder/ReplyingDecoder
- 二次编解码器：MessageToMessageEncoder、MessageToMessageDecoder
文章图片
抽象编码类是ChannelOutboundHandler的抽象实现，处理的是出站数据
MessageToByteEncoder类
MessageToByteEncoder重写了ChannelOutboundHandler的write()方法，该方法内的encode()抽象方法用于数据编码，仅需要继承MessageToByteEncoder类并实现encode()即可自定义编码逻辑。
@Override
public void write(ChannelHandlerContext ctx, Object msg, ChannelPromise promise) throws Exception {
ByteBuf buf = null;
try {
if (acceptOutboundMessage(msg)) { // 1. 消息类型是否匹配
@SuppressWarnings("unchecked")
I cast = (I) msg;
buf = allocateBuffer(ctx, cast, preferDirect);
// 2. 分配 ByteBuf 资源
try {
encode(ctx, cast, buf);
// 3. 执行 encode 方法完成数据编码
} finally {
ReferenceCountUtil.release(cast);
}
if (buf.isReadable()) {
ctx.write(buf, promise);
// 4. 向后传递写事件
} else {
buf.release();
ctx.write(Unpooled.EMPTY_BUFFER, promise);
}
buf = null;
} else {
ctx.write(msg, promise);
}
} catch (EncoderException e) {
throw e;
} catch (Throwable e) {
throw new EncoderException(e);
} finally {
if (buf != null) {
buf.release();
}
}
}write()方法的主要逻辑如下：
- acceptOutboundMessage判断是否有匹配的消息类型，如果匹配需要执行编码，如果不匹配直接传递给下一个ChannelOutboundHandler
- 分配ByteBuf资源，默认使用堆外内存
- 调用子类的encode()方法进行编码，编码成功，会通过调用ReferenceCountUtil.release(cast)自动释放
- 如果ByteBuf可读，说明成功编码得到数据，然后写入下一个ChannelOutboundHandler；否则释放ByteBuf资源，向下传递空的ByteBuf对象
public class StringToByteEncoder extends MessageToByteEncoder<
String>
{
@Override
protected void encode(ChannelHandlerContext channelHandlerContext, String data, ByteBuf byteBuf) throws Exception {
byteBuf.writeBytes(data.getBytes());
}
}MessageToMessageEncoder类
与MessageToByteEncoder类似，同样可以继承MessageToMessageEncoder类并实现encode()方法实现自定义编码。但是MessageToMessageEncoder用于将一个格式的消息转换为另一个格式的消息，这里的第二个Message可以是任意一个对象，如果该对象是ByteBuf类型，MessageToMessageEncoder的实现逻辑基本上与MessageToByteEncoder一致
MessageToMessageEncoder的实现类包括：StringEncoder、LineEncoder、Base64Encoder等。以StringEncoder类为例，查看encode()方法：将CharSequence类型转换为ByteBuf类型，结合StringDecoder可以实现String类型的编解码。
@Override
protected void encode(ChannelHandlerContext ctx, CharSequence msg, List