-
Notifications
You must be signed in to change notification settings - Fork 3.6k
2019 08 26 netty案例,netty4.1中级拓展篇十一《Netty基于ChunkedStream数据流切块传输》
作者:小傅哥
博客:https://bugstack.cn - 原创系列专题
沉淀、分享、成长,让自己和他人都能有所收获!
在Netty这种异步NIO框架的结构下,服务端与客户端通信过程中,高效、频繁、大量的写入大块数据时,因网络传输饱和的可能性就会造成数据处理拥堵、GC频繁、用户掉线的可能性。那么由于写操作是非阻塞的,所以即使没有写出所有的数据,写操作也会在完成时返回并通知ChannelFuture。当这种情况发生时,如果仍然不停地写入,就有内存耗尽的风险。所以在写大块数据时,需要对大块数据进行切割发送处理。
https://netty.io/4.0/api/io/netty/handler/stream/ChunkedStream.html ChunkedInput 的实现 ChunkedFile 从文件中逐块获取数据,当你的平台不支持零拷贝或者你需要转换数据时使用 ChunkedNioFile 和ChunkedFile 类似,只是它使用了FileChannel ChunkedStream 从InputStream 中逐块传输内容 ChunkedNioStream 从ReadableByteChannel 中逐块传输内容
- jdk1.8【jdk1.7以下只能部分支持netty】
- Netty4.1.36.Final【netty3.x 4.x 5每次的变化较大,接口类名也随着变化】
- NetAssist 网络调试助手[获取:关注公众号:bugstack虫洞栈 | 回复;NetAssist+邮箱]
itstack-demo-netty-2-11
└── src
├── main
│ └── java
│ └── org.itstack.demo.netty.server
│ ├── MyChannelInitializer.java
│ ├── MyServerChunkHandler.java
│ ├── MyServerHandler.java
│ └── NettyServer.java
└── test
└── java
└── org.itstack.demo.test
└── ApiTest.java
** 重点代码块讲解,完整代码,关注公众号:bugstack虫洞栈 | 回复Netty源码获取 **
MyChannelInitializer.java | 添加流量分块功能
/**
* 虫洞栈:https://bugstack.cn
* 公众号:bugstack虫洞栈 {获取学习源码}
* Create by fuzhengwei on 2019
*/
public class MyChannelInitializer extends ChannelInitializer<SocketChannel> {
@Override
protected void initChannel(SocketChannel channel) {
// 基于换行符号
channel.pipeline().addLast(new LineBasedFrameDecoder(1024));
// 流量分块
channel.pipeline().addLast(new ChunkedWriteHandler());
channel.pipeline().addLast(new MyServerChunkHandler());
// 解码转String,注意调整自己的编码格式GBK、UTF-8
channel.pipeline().addLast(new StringDecoder(Charset.forName("GBK")));
// 解码转String,注意调整自己的编码格式GBK、UTF-8
channel.pipeline().addLast(new StringEncoder(Charset.forName("GBK")));
// 在管道中添加我们自己的接收数据实现方法
channel.pipeline().addLast(new MyServerHandler());
}
}
MyServerChunkHandler.java | 流量分块实现ChunkedStream(in, 10)
/**
* 虫洞栈:https://bugstack.cn
* 公众号:bugstack虫洞栈 | 欢迎关注并获取专题&源码
* Create by fuzhengwei on 2019
*/
public class MyServerChunkHandler extends ChannelOutboundHandlerAdapter {
@Override
public void write(ChannelHandlerContext ctx, Object msg, ChannelPromise promise) throws Exception {
//内容验证
if (!(msg instanceof ByteBuf)) {
super.write(ctx, msg, promise);
return;
}
//获取Byte
ByteBuf buf = (ByteBuf) msg;
byte[] data = this.getData(buf);
//写入流中
ByteInputStream in = new ByteInputStream();
in.setBuf(data);
//消息分块;10个字节,测试过程中可以调整
ChunkedStream stream = new ChunkedStream(in, 10);
//管道消息传输承诺
ChannelProgressivePromise progressivePromise = ctx.channel().newProgressivePromise();
progressivePromise.addListener(new ChannelProgressiveFutureListener() {
@Override
public void operationProgressed(ChannelProgressiveFuture future, long progress, long total) throws Exception {
}
@Override
public void operationComplete(ChannelProgressiveFuture future) throws Exception {
if (future.isSuccess()) {
System.out.println("消息发送成功 success");
promise.setSuccess();
} else {
System.out.println("消息发送失败 failure:" + future.cause());
promise.setFailure(future.cause());
}
}
});
ReferenceCountUtil.release(msg);
ctx.write(stream, progressivePromise);
}
//获取Byte
private byte[] getData(ByteBuf buf) {
if (buf.hasArray()) {
return buf.array().clone();
}
byte[] data = new byte[buf.readableBytes() - 1];
buf.readBytes(data);
return data;
}
}
启动服务端NettyServer
itstack-demo-netty server start done. {关注公众号:bugstack虫洞栈,获取源码}
链接报告开始
链接报告信息:有一客户端链接到本服务端
链接报告IP:127.0.0.1
链接报告Port:7397
链接报告完毕
消息发送成功 success
2019-09-15 16:36:04 接收到消息:hi 微信公众号:bugstack虫洞栈 | 欢迎关注并获取专题文章和源码
消息发送成功 success
2019-09-15 16:36:04 接收到消息:
消息发送成功 success
Process finished with exit code -1
启动NetAssist网络调试助手 | 发送测试消息[结尾加换行]
hi 微信公众号:bugstack虫洞栈 | 欢迎关注并获取专题文章和源码
上一篇:netty案例,netty4.1中级拓展篇十《Netty接收发送多种协议消息类型的通信处理方案》
下一篇:netty案例,netty4.1中级拓展篇十二《Netty流量整形数据流速率控制分析与实战》
微信搜索「bugstack虫洞栈」公众号,关注后回复「Netty专题案例」获取本文源码&更多原创专题案例!
小傅哥(微信:fustack),公众号:bugstack虫洞栈
| bugstack.cn - 沉淀、分享、成长,让自己和他人都能有所收获!
🌏 知识星球:码农会锁
实战项目:「DDD+RPC分布式抽奖系统
」、专属小册、问题解答、简历指导、架构图稿、视频课程
🐲 头条
-
💥
🎁 Lottery 抽奖系统
- 基于领域驱动设计的四层架构的互联网分布式开发实践 -
小傅哥的《重学 Java 设计模式》
- 全书彩印、重绘类图、添加内容 -
⭐小傅哥的《Java 面经手册》
- 全书5章29节,417页11.5万字,完稿&发版 -
小傅哥的《手撸 Spring》
- 通过带着读者手写简化版 Spring 框架,了解 Spring 核心原理 -
🌈小傅哥的《SpringBoot 中间件设计和开发》
- 小册16个中间件开发30个代码库
⛳ 目录
💋 精选
🐾 友链
建立本开源项目的初衷是基于个人学习与工作中对 Java 相关技术栈的总结记录,在这里也希望能帮助一些在学习 Java 过程中遇到问题的小伙伴,如果您需要转载本仓库的一些文章到自己的博客,请按照以下格式注明出处,谢谢合作。
作者:小傅哥
链接:https://bugstack.cn
来源:bugstack虫洞栈
2021年10月24日,小傅哥
的文章全部开源到代码库 CodeGuide
中,与同好同行,一起进步,共同维护。
这里我提供 3 种方式:
-
提出
Issue
:在 Issue 中指出你觉得需要改进/完善的地方(能够独立解决的话,可以在提出 Issue 后再提交PR
)。 -
处理
Issue
: 帮忙处理一些待处理的Issue
。 -
提交
PR
: 对于错别字/笔误这类问题可以直接提交PR
,无需提交Issue
确认。
详细参考:CodeGuide 贡献指南 - 非常感谢你的支持,这里会留下你的足迹
- 加群交流 本群的宗旨是给大家提供一个良好的技术学习交流平台,所以杜绝一切广告!由于微信群人满 100 之后无法加入,请扫描下方二维码先添加作者 “小傅哥” 微信(fustack),备注:加群。
- 公众号(bugstack虫洞栈) - 沉淀、分享、成长,专注于原创专题案例,以最易学习编程的方式分享知识,让自己和他人都能有所收获。
感谢以下人员对本仓库做出的贡献或者对小傅哥的赞赏,当然不仅仅只有这些贡献者,这里就不一一列举了。如果你希望被添加到这个名单中,并且提交过 Issue 或者 PR,请与我联系。