如何从0到1深度剖析RPC框架的核心设计
ccwgpt 2024-09-17 12:49 28 浏览 0 评论
做过分布式服务端的Java工程师,随着对技术底层的认知的加深,都会或多或少的会去想: 一个RPC框架需要考虑的问题有哪些,如何来解决?
下面我们围绕RPC通信框架,从如何实现这个角度做一个剖析,以及每个环节能做什么?
RPC框架简介
单体应用时代只有内外网通信,并没有服务间通信的诉求,随着单机服务性能下降,进入多服务分布式的时代后Rpc 框架才应运而生。
通信Rpc犹如生活中电网基建一样,是分布式服务的基础组成部分,一个传输电能,一个传输数据。
RPC ,Remote Procedure Call ,字面意思是远程过程调用,主要是解决服务间连接及数据交互,但除了通信和数据交互,为适应分布式架构/微服务架构的设计,通常还需要实现增值、增强的附加功能,下面展开来做一个介绍。
一个好的系统设计,通常是完整、系统、可扩展、可容错、高性能、支持高并发、可跟踪、有良好的设计模式等等,Rpc 框架的设计需要解决什么问题?
RPC通信方式设计
通信的底层是TCP/IP,在Java中网络传输通常使用Netty 或 Mina 的多路复用模型作为网络通信的底层。
通信底层当然还有一些优化方式,具体在Java架构师系列课程里面会涉及。
1.多传输协议支持
为什么要支持多种传输协议呢?在业务中,通常会遇到各种问题,比如:
- 跨网络、机房问题
- 跨语言问题
- 长连接还是短连接
- 传输安全
- 传输性能
使用Http协议,虽然灵活便于管理、可以跨语言,但是明文、性能很差。通常适用于较低并发、异构系统对接、对外网关等。
使用Dubbo 传输协议,性能高、长连接,但目前跨语言做的还不够,单条大文件/数据传输可能会形成网络瓶颈。
Rmi ,性能较差,短连接,但对于单次大数据量传输却比较好,其他的还有Websocket 、Https、Thrift TTransport等,传输协议各有优缺点,所以支持多传输协议是有必要的。
2.多数据压缩/序列化支持
为什么要支持多序列化支持,主要考虑两个方面
- 跨语言/异构平台间交互
- 性能方面考虑
这个其实跟传输协议是搭配的,比如RMI 通常都是使用了标准的二进制序列化
目前有Protobuff、Dubbo 序列化、Hessian 、Java原生、Soap文本序列化、Http的表单序列化、Json、Thrift的TCompactProtocol等,同样各有优缺点,需要设计成可扩展的方式。
如何找到服务(寻址)并且实现资源合理
消费者如何知道提供者,并且知道当前是否存活,是设计RPC 框架需要考虑的第二大问题
1.多样的注册中心支持
不同的业务系统,对于服务间一致性要求并不同,这里有一个CAP权衡问题。
另外还要考虑是否推送提供者的变动、注册中心自身的安全问题、跨语言平台等因素。
比如:
- Zookeeper,支持强一致并能通过Wacher机制主动进行通知,但可用性并不能完全保证
- Consul ,通过Http方式满足服务发现,没有语言限制,但通知实时性比ZK Wacher略差
所以注册中心也需要做成插件化的可扩展方式。
2.多算法负载均衡、路由和多维度流量控制
负载均衡目的是为了最优使用同一服务间的资源使用,具体到设计中,需要考虑机器情况、服务的负载情况等
算法主要有随机、轮询、活跃情况、一致性Hash等。
在生产环境中能通过界面化的方式提供动态的更改权重、路由等规则,实现服务动态权重、熔断、限流、灰度、多版本等功能。
3.容错机制
考虑容错机制是系统完整性的一部分,failover、failfast、failback、failsafe 、forking、Broadcast …等,通常和负载均衡搭配。
让业务更方便的使用
支持普通配置的同时,支持集成到Spring等主流框架使用。配置的方式也有很多种,比如支持XML、注解、YAML、Properties、Json配置等。
可跟踪
可以进行依赖分析,数据的调用统计,并能图形、数据化将其显示出来
可跟踪需要解决这几个问题:
- 服务调用链路或依赖关系
- 调用次数及时间,提供容量/机器预算基准数据
- 预警
实现上可以兼容现有成型的APM链路跟踪,也是设计的考虑因素之一。
RPC其他
从架构的角度要考虑到设计模式的使用,比如常用的责任链、代理模式等。
容器化,Kubernetes 支持等。
RPC总结
正如前面说的,Rpc 框架相当于电网基建,是分布式系统的基础,如果不具备可靠、高性能、高并发、使用简易等特点,就很难满足日益增长的服务治理的需要。
实现RPC调用可能比较简单,但实现Rpc框架不仅需要深厚技术功底,也需要提供接地气、灵活的使用方式。
相关推荐
- Python Scrapy 项目实战(python scripy)
-
爬虫编写流程首先明确Python爬虫代码编写的流程:先直接打开网页,找到你想要的数据,就是走一遍流程。比如这个项目我要爬取历史某一天所有比赛的赔率数据、每场比赛的比赛结果等。那么我就先打开这个网址...
- 为何大厂后端开发更青睐 Python 而非 Java 进行爬虫开发?
-
在互联网大厂的后端开发领域,爬虫技术广泛应用于数据收集、竞品分析、内容监测等诸多场景。然而,一个有趣的现象是,相较于Java,Python成为了爬虫开发的首选语言。这背后究竟隐藏着怎样的原因呢?让...
- 爬虫小知识,scrapy爬虫框架中爬虫名词的含义
-
在上一篇文章当中学记给大家展示了Scrapy爬虫框架在爬取之前的框架文件该如何设置。在上一篇文章当中,是直接以代码的形式进行描述的,在这篇文章当中学记会解释一下上一篇文章当中爬虫代码当中的一些名词...
- python爬虫神器--Scrapy(python爬虫详细教程)
-
什么是爬虫,爬虫能用来做什么?文章中给你答案。*_*今天我们就开发一个简单的项目,来爬取一下itcast.cn中c/c++教师的职位以及名称等信息。网站链接:http://www.itcast.cn...
- Gradio:从UI库到强大AI框架的蜕变
-
Gradio,这个曾经被简单视为PythonUI库的工具,如今已华丽转身,成为AI应用开发的强大框架。它不仅能让开发者用极少的代码构建交互式界面,更通过一系列独特功能,彻底改变了机器学习应用的开发和...
- 研究人员提出AI模型无损压缩框架,压缩率达70%
-
大模型被压缩30%性能仍与原模型一致,既能兼容GPU推理、又能减少内存和GPU开销、并且比英伟达nvCOMP解压缩快15倍。这便是美国莱斯大学博士生张天一和合作者打造的无损压缩框架...
- 阿里发布Qwen-Agent框架,赋能开发者构建复杂AI智能体
-
IT之家1月4日消息,阿里通义千问Qwen推出全新AI框架Qwen-Agent,基于现有Qwen语言模型,支持智能体执行复杂任务,并提供多种高级功能,赋能开发者构建更强大的AI...
- 向量数仓与大数据平台:企业数据架构的新范式
-
在当前的大模型时代,企业数据架构正面临着前所未有的挑战和机遇。随着大模型的不断发布和多模态模型的发展,AIGC应用的繁荣和生态配套的逐渐完备,企业需要适应这种新的数据环境,以应对行业变革。一、大模型时...
- 干货!大数据管理平台规划设计方案PPT
-
近年来,随着IT技术与大数据、机器学习、算法方向的不断发展,越来越多的企业都意识到了数据存在的价值,将数据作为自身宝贵的资产进行管理,利用大数据和机器学习能力去挖掘、识别、利用数据资产。如果缺乏有效的...
- 阿里巴巴十亿级并发系统设计:实现高并发场景下的稳定性和高性能
-
阿里巴巴的十亿级并发系统设计是其在大规模高并发场景下(如双11、双12等)保持稳定运行的核心技术框架。以下是其关键设计要点及技术实现方案:一、高可用性设计多数据中心与容灾采用多数据中心部署,通过异地容...
- 阿里云云原生一体化数仓—数据治理新能力解读
-
一、数据治理中心产品简介阿里云DataWorks:一站式大数据开发与治理平台架构大图阿里云DataWorks定位于一站式的大数据开发和治理平台,从下图可以看出,DataWorks与MaxCom...
- DeepSeek R1:理解 GRPO 和多阶段训练
-
人工智能在DeepSeekR1的发布后取得了显著进步,这是一个挑战OpenAI的o1的开源模型,在高级推理任务中表现出色。DeepSeekR1采用了创新的组相对策略优化(GroupR...
- 揭秘永久免费视频会议软件平台架构
-
如今视频会议已经成为各个团队线上协同的必备方式之一,视频会议软件的选择直接影响团队效率与成本,觅讯会议凭借永久免费迅速出圈,本文将从技术架构、核心功能和安全体系等维度,深度解析其技术实现与应用价值,为...
- DeepSeek + Kimi = 五分钟打造优质 PPT
-
首先,在DeepSeek中输出提示词,示例如下:为课程《提示词基础-解锁AI沟通的秘密》设计一个PPT大纲,目的是让学生:1.理解提示词的概念、作用和重要性2.掌握构建有效提示词的基本原则和技巧...
- 软件系统如何设计可扩展架构?方法论,Java实战代码
-
软件系统如何设计可扩展架构?方法论,Java实战代码,请关注,点赞,收藏。方法论那先想想方法论部分。扩展性架构的关键点通常包括分层、模块化、微服务、水平扩展、异步处理、缓存、负载均衡、分布式架构等等...
你 发表评论:
欢迎- 一周热门
- 最近发表
- 标签列表
-
- MVC框架 (46)
- spring框架 (46)
- 框架图 (58)
- bootstrap框架 (43)
- flask框架 (53)
- quartz框架 (51)
- abp框架 (47)
- jpa框架 (47)
- laravel框架 (46)
- express框架 (43)
- springmvc框架 (49)
- 分布式事务框架 (65)
- scrapy框架 (56)
- java框架spring (43)
- grpc框架 (55)
- orm框架有哪些 (43)
- ppt框架 (48)
- 内联框架 (52)
- winform框架 (46)
- gui框架 (44)
- cad怎么画框架 (58)
- ps怎么画框架 (47)
- ssm框架实现登录注册 (49)
- oracle字符串长度 (48)
- oracle提交事务 (47)