百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

深入解析 Netty 多路复用技术原理,助力开发效率提升

ccwgpt 2025-04-01 16:20 16 浏览 0 评论

在日常开发里,大家肯定碰到过这种情况:服务器要同时处理大量客户端接入请求,传统方法往往效果不佳,性能大幅下滑。其实,有个关键技术能有效解决这个难题,那就是 Netty 多路复用技术。今天,咱们就一起来深入探究探究。

Netty 多路复用技术背景介绍

在常见的业务场景中,高并发十分普遍。比如电商平台的抢购活动、社交软件的消息推送,都会有大量客户端同时向服务器发起请求。在 I/O 编程时,要是还采用传统多线程或进程的处理方式,每来一个客户端请求,就得创建一个新线程或进程。这就如同开一家店,每来一位顾客,就得单独安排一个服务员全程陪同,成本高,管理还复杂。

Netty 多路复用技术就像一个极为智能的调度员,它把多个 I/O 的阻塞复用到同一个 select 的阻塞上,使得系统在单线程情况下,也能同时处理多个客户端请求。和传统多线程 / 进程模型相比,它最大的优势就是系统开销小。无需创建大量额外的进程或线程,也不用费心维护它们的运行,大大降低了系统的维护工作量,节省了宝贵的系统资源。

目前支持 I/O 多路复用的系统调用有 select、pselect、poll、epoll 等。在 Linux 网络编程中,select 曾长期被使用,但它存在不少固有缺陷。例如,它支持的一个进程打开的 socket 描述符 (FD) 数量有限,受限于操作系统默认的 1024 个,在高并发场景下根本不够用。而且,它的 I/O 效率会随着 FD 数目的增加而线性下降,因为每次调用它都要线性扫描全部的 socket 集合,不管这些 socket 是不是 “活跃” 的。

为解决 select 的这些问题,Linux 在新内核版本中推出了 epoll。epoll 支持的 FD 上限是操作系统的最大文件句柄数,这个数字比 1024 大得多,在 1GB 内存的机器上,大约能达到 10 万个句柄左右。并且,epoll 只会对 “活跃” 的 socket 进行操作,因为它在内核实现中是根据每个 fd 上面的 callback 函数来的,只有 “活跃” 的 socket 才会主动调用 callback 函数,那些空闲状态的 socket 就不会参与,这样就避免了像 select 那样无差别扫描带来的效率低下问题。此外,epoll 还使用 mmap 加速内核与用户空间的消息传递,避免了不必要的内存复制。

Netty 多路复用技术解决方案

Netty 作为一个高性能、异步事件驱动的 NIO 框架,在多路复用技术的实现上有一套独特的方式。

首先,Netty 基于 Java NIO 提供的 API,采用了 Reactor 模型。简单来讲,Reactor 模型就像一个事件处理中心,它有一个或多个线程专门负责监听事件,一旦有事件发生,就会把事件分发给对应的处理器去处理。在 Netty 中,多路复用器 selector 就承担了这个监听事件的重要角色。只需要一个线程负责 Selector 的轮询,就可以接入成千上万的客户端,这也是 Netty 能高效处理大量并发连接的关键之一。

在处理 TCP 连接时,Netty 通过 ServerBootstrap 类来配置和启动服务器。以下是一个简单的代码示例:

import io.netty.bootstrap.ServerBootstrap;
import io.netty.channel.ChannelFuture;
import io.netty.channel.ChannelInitializer;
import io.netty.channel.ChannelOption;
import io.netty.channel.EventLoopGroup;
import io.netty.channel.nio.NioEventLoopGroup;
import io.netty.channel.socket.SocketChannel;
import io.netty.channel.socket.nio.NioServerSocketChannel;

public class NettyServer {
    public static void main(String[] args) throws Exception {
        // 创建两个EventLoopGroup,bossGroup用于接收连接,workerGroup用于处理I/O操作
        EventLoopGroup bossGroup = new NioEventLoopGroup(1);
        EventLoopGroup workerGroup = new NioEventLoopGroup();
        try {
            ServerBootstrap b = new ServerBootstrap();
            b.group(bossGroup, workerGroup)
             .channel(NioServerSocketChannel.class)
             .childHandler(new ChannelInitializer() {
                    @Override
                    protected void initChannel(SocketChannel ch) throws Exception {
                        ch.pipeline().addLast(new NettyServerHandler());
                    }
                })
             .option(ChannelOption.SO_BACKLOG, 128)
             .childOption(ChannelOption.SO_KEEPALIVE, true);

            // 绑定端口并启动服务器
            ChannelFuture f = b.bind(8888).sync();
            System.out.println("Server started, listening on port 8888");
            f.channel().closeFuture().sync();
        } finally {
            workerGroup.shutdownGracefully();
            bossGroup.shutdownGracefully();
        }
    }
}

在上述代码中,我们创建了两个EventLoopGroup,一个是bossGroup,负责接收客户端的连接请求;另一个是workerGroup,负责处理已连接客户端的 I/O 读写等操作。通过ServerBootstrap配置服务器参数,如使用的通道类型、子处理器等。

在实际应用中,我们还会遇到粘包和拆包的问题。这是因为在网络传输中,数据可能会因各种原因被合并或拆分。Netty 提供了多种解码器来解决这个问题。比如固定长度解码器(FixedLengthFrameDecoder),它会将字节流按照固定长度进行拆分,代码示例如下:

import io.netty.channel.ChannelInitializer;
import io.netty.channel.socket.SocketChannel;
import io.netty.handler.codec.FixedLengthFrameDecoder;

public class FixedLengthFrameDecoderInitializer extends ChannelInitializer {
    @Override
    protected void initChannel(SocketChannel ch) throws Exception {
        // 设置每个帧的固定长度为1024字节
        ch.pipeline().addLast(new FixedLengthFrameDecoder(1024));
        ch.pipeline().addLast(new MyBusinessHandler());
    }
}

行解码器(LineBasedFrameDecoder)则是以换行符作为分隔符进行拆分,代码如下:

import io.netty.channel.ChannelInitializer;
import io.netty.channel.socket.SocketChannel;
import io.netty.handler.codec.LineBasedFrameDecoder;

public class LineBasedFrameDecoderInitializer extends ChannelInitializer {
    @Override
    protected void initChannel(SocketChannel ch) throws Exception {
        // 使用LineBasedFrameDecoder,以换行符为分隔符
        ch.pipeline().addLast(new LineBasedFrameDecoder(1024));
        ch.pipeline().addLast(new MyBusinessHandler());
    }
}

分隔符解码器(
DelimiterBasedFrameDecoder)可以让我们自定义分隔符来拆分数据,代码示例:

import io.netty.buffer.ByteBuf;
import io.netty.buffer.Unpooled;
import io.netty.channel.ChannelInitializer;
import io.netty.channel.socket.SocketChannel;
import io.netty.handler.codec.DelimiterBasedFrameDecoder;

public class DelimiterBasedFrameDecoderInitializer extends ChannelInitializer {
    @Override
    protected void initChannel(SocketChannel ch) throws Exception {
        // 自定义分隔符为"||"
        ByteBuf delimiter = Unpooled.copiedBuffer("||".getBytes());
        ch.pipeline().addLast(new DelimiterBasedFrameDecoder(1024, delimiter));
        ch.pipeline().addLast(new MyBusinessHandler());
    }
}

长度域解码器(
LengthFieldBasedFrameDecoder)通过在消息中添加长度字段来标识消息的长度,然后根据长度字段进行拆分,代码如下:

import io.netty.channel.ChannelInitializer;
import io.netty.channel.socket.SocketChannel;
import io.netty.handler.codec.LengthFieldBasedFrameDecoder;

public class LengthFieldBasedFrameDecoderInitializer extends ChannelInitializer {
    @Override
    protected void initChannel(SocketChannel ch) throws Exception {
        // 假设长度字段占2个字节,偏移量为0,长度调整值为0
        ch.pipeline().addLast(new LengthFieldBasedFrameDecoder(1024, 0, 2, 0, 0));
        ch.pipeline().addLast(new MyBusinessHandler());
    }
}

总结

通过今天对 Netty 多路复用技术原理的探讨,相信大家已经看到了它在解决高并发场景下服务器处理客户端请求问题上的强大能力。在开发工作中,掌握这样的关键技术,能让我们在开发过程中更加得心应手,大大提升开发效率和系统性能。

相关推荐

详解DNFSB2毒王的各种改动以及大概的加点框架

首先附上改动部分,然后逐项分析第一个,毒攻掌握技能意思是力量智力差距超过15%的话差距会被强行缩小到15%,差距不到15%则无效。举例:2000力量,1650智力,2000*0.85=1700,则智力...

通篇干货!纵观 PolarDB-X 并行计算框架

作者:玄弟七锋PolarDB-X面向HTAP的混合执行器一文详细说明了PolarDB-X执行器设计的初衷,其初衷一直是致力于为PolarDB-X注入并行计算的能力,兼顾TP和AP场景,逐渐...

字节新推理模型逆袭DeepSeek,200B参数战胜671B,豆包史诗级加强

梦晨发自凹非寺量子位|公众号QbitAI字节最新深度思考模型,在数学、代码等多项推理任务中超过DeepSeek-R1了?而且参数规模更小。同样是MoE架构,字节新模型Seed-Thinkin...

阿里智能化研发起飞!RTP-LLM 实现 Cursor AI 1000 token/s 推理技术揭秘

作者|赵骁勇阿里巴巴智能引擎事业部审校|刘侃,KittyRTP-LLM是阿里巴巴大模型预测团队开发的高性能LLM推理加速引擎。它在阿里巴巴集团内广泛应用,支撑着淘宝、天猫、高德、饿...

多功能高校校园小程序/校园生活娱乐社交管理小程序/校园系统源码

校园系统通常是为学校、学生和教职工提供便捷的数字化管理工具。综合性社交大学校园小程序源码:同城校园小程序-大学校园圈子创业分享,校园趣事,同校跑腿交友综合性论坛。小程序系统基于TP6+Uni-app...

婚恋交友系统nuiAPP前端解决上传视频模糊的问题

婚恋交友系统-打造您的专属婚恋交友平台系统基于TP6+Uni-app框架开发;客户移动端采用uni-app开发,管理后台TH6开发支持微信公众号端、微信小程序端、H5端、PC端多端账号同步,可快速打包...

已节省数百万GPU小时!字节再砍MoE训练成本,核心代码全开源

COMET团队投稿量子位|公众号QbitAI字节对MoE模型训练成本再砍一刀,成本可节省40%!刚刚,豆包大模型团队在GitHub上开源了叫做COMET的MoE优化技术。COMET已应用于字节...

通用电气完成XA102发动机详细设计审查 将为第六代战斗机提供动力

2025年2月19日,美国通用电气航空航天公司(隶属于通用电气公司)宣布,已经完成了“下一代自适应推进系统”(NGAP)计划下提供的XA102自适应变循环发动机的详细设计审查阶段。XA102是通用电气...

tpxm-19双相钢材质(双相钢f60材质)

TPXM-19双相钢是一种特殊的钢材,其独特的化学成分、机械性能以及广泛的应用场景使其在各行业中占有独特的地位。以下是对TPXM-19双相钢的详细介绍。**化学成分**TPXM-19双相钢的主要化学成...

thinkphp6里怎么给layui数据表格输送数据接口

layui官网已经下架了,但是产品还是可以使用。今天一个朋友问我怎么给layui数据表格发送数据接口,当然他是学前端的,后端不怎么懂,自学了tp框架问我怎么调用。其实官方文档上就有相应的数据格式,js...

完美可用的全媒体广告精准营销服务平台PHP源码

今天测试了一套php开发的企业网站展示平台,还是非常不错的,下面来给大家说一下这套系统。1、系统架构这是一套基于ThinkPHP框架开发的HTML5响应式全媒体广告精准营销服务平台PHP源码。现在基于...

一对一源码开发,九大方面完善基础架构

以往的直播大多数都是一对多进行直播社交,弊端在于不能满足到每个用户的需求,会降低软件的体验感。伴随着用户需求量的增加,一对一直播源码开始出现。一个完整的一对一直播流程即主播发起直播→观看进入房间观看→...

Int J Biol Macromol .|交联酶聚集体在分级共价有机骨架上的固定化:用于卤代醇不对称合成的高稳定酶纳米反应器

大家好,今天推送的文章发表在InternationalJournalofBiologicalMacromolecules上的“Immobilizationofcross-linkeden...

【推荐】一款开源免费的 ChatGPT 聊天管理系统,支持PC、H5等多端

如果您对源码&技术感兴趣,请点赞+收藏+转发+关注,大家的支持是我分享最大的动力!!!项目介绍GPTCMS是一款开源且免费(基于GPL-3.0协议开源)的ChatGPT聊天管理系统,它基于先进的GPT...

高性能计算(HPC)分布式训练:训练框架、混合精度、计算图优化

在深度学习模型愈发庞大的今天,分布式训练、高效计算和资源优化已成为AI开发者的必修课。本文将从数据并行vs模型并行、主流训练框架(如PyTorchDDP、DeepSpeed)、混合精度训练(...

取消回复欢迎 发表评论: