锐客网

  1. 首页 > 睿知 > it技术 > >

Netty学习系列|Netty学习七（编解码之自定义通信协议）

学习网络web安全Netty学习系列

一、自定义通信协议
通信协议：通信双方事先商量好的暗语。在TCP网络编程中，发送方和接收方的数据包格式都是二进制，发送方先将对象转化为二进制流发送给接收方，接收方获取二进制流后根据协议解析成对象。
当前通用的协议包括：HTTP、HTTPS、JSON-RPC、FTP、IMAP、Protobuf等。考虑到通信协议兼容性好、易于维护，在满足业务场景和性能需求时推荐采用通用协议，通信协议不满足要求时可以自定义通信协议。自定义通信协议的好处在于：

  • 极致性能：通用协议考虑了很多兼容性的问题，性能有所损失。
  • 扩展性：自定义协议更好扩展，更好满足业务需求。
  • 安全性：通信协议是公开的，很多漏洞已经被黑客攻破。对于自定义协议，黑客需要先破解协议内容。
一个完备的通信协议需要具备以下基本要素：
  • 魔数：通信的一个暗号，通常采用固定的几个字节表示。用于防止任何人随便向服务器的端口上发送数据。接收方接收到数据后会先解析出魔书，如果魔书和约定的不匹配，认为是非法数据，直接关闭连接或者采取其他措施以增强系统的安全防护
  • 协议版本号：随着业务需求的变化，协议可能需要对结构或者字段进行改动，不同版本的协议对应的解析方法也不同
  • 序列化算法：表示数据发送方如何将请求对象转化为二进制流，以及如何再将二进制流转为对象
  • 报文类型：不同的业务场景中，报文可能存在不同的类型。如，RPC框架中有请求、响应、心跳等类型的报文；IM即时通信中有登录、创建群聊、发送消息、接收消息、退出群聊等类型的报文
  • 长度域字段：代表请求数据的长度，接收方根据该字段获取完整的报文
  • 请求数据：序列化后的二进制流
  • 状态：表示请求是否正常。一般由调用方设置。如：一次RPC调用失败，状态字段可以被服务提供方设置为异常状态
  • 保留字段：为了应对协议升级的可能性，预留的若干字段
以下是一个较为通用的协议示例：
+---------------------------------------------------------------+ | 魔数 2byte | 协议版本号 1byte | 序列化算法 1byte | 报文类型 1byte| +---------------------------------------------------------------+ | 状态 1byte |保留字段 4byte|数据长度 4byte| +---------------------------------------------------------------+ |数据内容 （长度不定）| +---------------------------------------------------------------+

二、Netty中自定义通信协议
Netty提供了丰富的编解码抽象类，用于我们更为方便地基于这些抽象类扩展实现自定义通信协议。
Netty编码类抽象类：
  • MessageToByteEncoder类：将消息对象编码为二进制流
  • MessageToMessageEncoder类：将一种消息类型编码为另一种消息类型
Netty解码类抽象类：
  • ByteToMessageDecoder/ReplyingDecoder类：将二进制流解码为消息对象
  • MessageToMessageDecoder类：将一种消息类型编码为另一种消息类型
Netty中的编解码器分为一次编解码和二次编解码。以解码为例，一次解码器用于解决TCP拆包/粘包问题，解析得到字节数据。如果需要对解析后的字节数据做对象转换，需要使用二次解码器。同理，编码器是相反过程。
  • 一次编解码器：MessageToByteEncoder、ByteToMessageDecoder/ReplyingDecoder
  • 二次编解码器：MessageToMessageEncoder、MessageToMessageDecoder
抽象编码类 Netty学习系列|Netty学习七（编解码之自定义通信协议）
文章图片
抽象编码类是ChannelOutboundHandler的抽象实现，处理的是出站数据
MessageToByteEncoder类
MessageToByteEncoder重写了ChannelOutboundHandler的write()方法，该方法内的encode()抽象方法用于数据编码，仅需要继承MessageToByteEncoder类并实现encode()即可自定义编码逻辑。
@Override public void write(ChannelHandlerContext ctx, Object msg, ChannelPromise promise) throws Exception { ByteBuf buf = null; try { if (acceptOutboundMessage(msg)) { // 1. 消息类型是否匹配 @SuppressWarnings("unchecked") I cast = (I) msg; buf = allocateBuffer(ctx, cast, preferDirect); // 2. 分配 ByteBuf 资源 try { encode(ctx, cast, buf); // 3. 执行 encode 方法完成数据编码 } finally { ReferenceCountUtil.release(cast); } if (buf.isReadable()) { ctx.write(buf, promise); // 4. 向后传递写事件 } else { buf.release(); ctx.write(Unpooled.EMPTY_BUFFER, promise); } buf = null; } else { ctx.write(msg, promise); } } catch (EncoderException e) { throw e; } catch (Throwable e) { throw new EncoderException(e); } finally { if (buf != null) { buf.release(); } } }

write()方法的主要逻辑如下：
  • acceptOutboundMessage判断是否有匹配的消息类型，如果匹配需要执行编码，如果不匹配直接传递给下一个ChannelOutboundHandler
  • 分配ByteBuf资源，默认使用堆外内存
  • 调用子类的encode()方法进行编码，编码成功，会通过调用ReferenceCountUtil.release(cast)自动释放
  • 如果ByteBuf可读，说明成功编码得到数据，然后写入下一个ChannelOutboundHandler；否则释放ByteBuf资源，向下传递空的ByteBuf对象
编码器无需关注拆包/粘包问题，以下为一个自定义编码类：
public class StringToByteEncoder extends MessageToByteEncoder< String> { @Override protected void encode(ChannelHandlerContext channelHandlerContext, String data, ByteBuf byteBuf) throws Exception { byteBuf.writeBytes(data.getBytes()); } }

MessageToMessageEncoder类
与MessageToByteEncoder类似，同样可以继承MessageToMessageEncoder类并实现encode()方法实现自定义编码。但是MessageToMessageEncoder用于将一个格式的消息转换为另一个格式的消息，这里的第二个Message可以是任意一个对象，如果该对象是ByteBuf类型，MessageToMessageEncoder的实现逻辑基本上与MessageToByteEncoder一致
MessageToMessageEncoder的实现类包括：StringEncoder、LineEncoder、Base64Encoder等。以StringEncoder类为例，查看encode()方法：将CharSequence类型转换为ByteBuf类型，结合StringDecoder可以实现String类型的编解码。
@Override protected void encode(ChannelHandlerContext ctx, CharSequence msg, List out) throws Exception { if (msg.length() == 0) { return; } out.add(ByteBufUtil.encodeString(ctx.alloc(), CharBuffer.wrap(msg), charset)); }
抽象解码类 Netty学习系列|Netty学习七（编解码之自定义通信协议）
文章图片
抽象解码类是ChannelInboundHandler的抽象类实现，处理的是入站数据。解码器需要考虑拆包/粘包问题。由于接收方可能没有收到完整消息，解码框架需要对入站的数据做缓冲操作，直至收到完整的消息。
ByteToMessageDecoder类
public abstract class ByteToMessageDecoder extends ChannelInboundHandlerAdapter { protected abstract void decode(ChannelHandlerContext ctx, ByteBuf in, List out) throws Exception; protected void decodeLast(ChannelHandlerContext ctx, ByteBuf in, List< Object> out) throws Exception { if (in.isReadable()) { decodeRemovalReentryProtection(ctx, in, out); } } }
ByteToMessageDecoder类中包含decode()抽象方法，可以通过继承ByteToMessageDecoder并实现该方法完成自定义解码。decode()在调用时需要传入ByteBuf以及用来添加解码后消息的List列表。由于拆包/粘包问题，ByteBuf中可能包含多个有效报文，或者不够一个完整的报文，因此Netty会重复会调用decode()方法，直到解码出新的完整报文可以添加到List中，或者ByteBuf中没有更多可读的数据为止。如果List不为空，将会传递给下一个ChannelInboundHandler。
ByteToMessageDecoder中还有一个decodeLast()方法，该方法会在Channel关闭后被调用一次，主要用于处理ByteBuf最后剩余的字节数据。Netty中decodeLast()方法默认只是简单调用一下decode()方法，有特殊也无需求也可以重写decodeLast()。
ByteToMessageDecoder有一个抽象子类ReplyingDecoder，他封装了缓冲区的管理，读取缓冲区时无需再对字节长度进行校验。因为如果没有足够长度的字节数据，ReplyingDecoder会终止解码操作。一般不推荐使用ReplyingDecoder类，因为其性能相较直接使用ByteToMessageDecoder要慢。
【Netty学习系列|Netty学习七（编解码之自定义通信协议）】MessageToMessageDecoder类
该类的作用与ByteToMessageDecoder类似，都是将一种消息解码为另一种消息，但是第一个Message可以是任意一个对象，而且MessageToMessageDecoder不会对数据报文进行缓存。推荐先使用ByteToMessageDecoder解析TCP协议，解决拆包/粘包问题，然后用MessageToMessageDecoder做数据对象的转换。
Netty学习系列|Netty学习七（编解码之自定义通信协议）
文章图片

    推荐阅读


    上一篇：Netty学习系列|Netty学习九（编解码之writeAndFlush）

    下一篇：MySQL零基础入门|MySQL 数据库基础知识（系统化一篇入门）