百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

最值得学习的开源RPC框架——SRPC

ccwgpt 2024-10-13 01:31 49 浏览 0 评论

什么是RPC?

Remote Procedure Call,远程过程调用

什么是“远程”,为什么“远”?

先来看下什么是“近”,即“本地函数调用”。

当我们写下:

int result = Add(1, 2);

这行代码的时候,到底发生了什么?

(1)传递两个入参;

(2)调用了本地代码段中的函数,执行运算逻辑;

(3)返回一个出参;

这三个动作,都发生在同一个进程空间里,这是本地函数调用。

那有没有办法,调用一个跨进程的函数呢?

典型的,这个进程部署在另一台服务器上。

最容易想到的,两个进程约定一个协议格式,使用Socket通信,来传输:

(1)入参;

(2)调用哪个函数;

(3)出参;

如果能够实现,那这就是“远程”过程调用。

为什么需要RPC框架呢?

如果没有统一的RPC框架,各个团队的服务提供方就需要各自实现一套序列化、反序列化、网络框架、连接池、收发线程、超时处理、状态机等“业务之外”的重复技术劳动,造成整体的低效。

RPC框架的职责,就是要屏蔽各种复杂性:

(1)调用方client感觉就像调用本地函数一样,来调用服务;

(2)提供方server感觉就像实现一个本地函数一样,来实现服务;

有哪些常见的,出圈的RPC框架呢?

(1)gRPC,Google出品,支持多语言;

(2)Thrift,Facebook出品,支持多语言;

(3)Dubbo,阿里开源的,支持Java;

(4)bRPC,百度开源的,支持C++,Java;

(5)tRPC,腾讯RPC框架,支持多语言;

(6)...

今天和大家分享的srpc,作者是搜狗的媛架构师liyingxin,基于WF,代码量1W左右

(1)非常适合用来学习RPC的架构设计;

(2)又是一个工业级的产品,QPS可以到50W,应该是行业能目前性能最好的RPC框架了吧,有不少超高并发的线上应用都使用它。

什么是srpc?

基于WF的轻量级,超高性能,工业级RPC框架,兼容多协议,例如百度bRPC,腾讯tRPC,Google的gRPC,以及FB的thrift协议。

srpc有些什么特点?

(1)支持多种IDL格式,包括Protobuf,Thrift等,对于这类项目,可以一键迁移;

(2)支持多种序列化方式,包括Protobuf,Thrift,json等;

(3)支持多压缩方法,对应用透明,包括gzip,zlib,lz4,snappy等;

(4)支持多协议,对应用透明,包括http,https,ssl,tcp等;

(5)高性能

不同客户端线程压力下的性能表现非常稳定,QPS在50W左右,优于同等压测配置的bRPC与thrift。

(6)轻量级,低门槛,1W行左右代码,只需引入一个静态库;

如何快速上手,体验这个帅气的RPC框架呢?

简单来说,只需要三个步骤。

第一步:定义IDL描述文件。

syntax = "proto3";// proto2 or proto3


message EchoRequest {

string message = 1;

string name = 2;

};


message EchoResponse {

string message = 1;

};


service Example {

rpc Echo(EchoRequest) returns (EchoResponse);

};


第二步:生成代码,并实现ServiceIMPL,server端就搞定了。

class ExampleServiceImpl : public Example::Service

{

public:

void Echo(EchoRequest *request,

EchoResponse *response,

RPCContext *ctx) override

{

response->set_message("Hi, " + request->name());

}

};

make一把,一气呵成。

第三步:自己定义一个请求客户端,向服务端发送echo请求。

int main()

{

Example::SRPCClient client("127.0.0.1", 1412);

EchoRequest req;

req.set_message("Hello, srpc!");

req.set_name("zhangsan");


client.Echo(&req,

[](EchoResponse *response, RPCContext *ctx){});


return 0;

}


srpc的架构设计思路是怎样的?

作为一个RPC框架,srpc的架构是异常清晰的,用户需要关注这3个层次

(1)IDL接口描述文件层

(2)RPC序列化协议层

(3)网络通讯层

同时,每一层次又提供了多种选择,用户可以任意的组合:

如上图所示:

(1)IDL层,用户可以选择Protobuf或者Thrift;

(2)协议层,可以选择Thrift,bRPC,tRPC等;

(3)通信层,可以选择tcp或者http;

在此分层架构之下,RPC的客户端要做什么工作,RPC的服务端要做什么工作,srpc框架又做了什么工作呢?

首先必须在IDL中要定义好:

(1)逻辑请求包request;

(2)逻辑响应包response;

(3)服务接口函数method;

RPC-client的工作就异常简单了:

(1)调用method;

(2)绑定回调函数,处理回调;

对应上图中顶部方框的绿色部分

RPC-server的工作也非常简单,像实现一个本地函数一样,提供远程的服务:

(1)实现method;

(2)接受request,逻辑处理,返回response;

对应上图中底部方框的黄色部分

srpc框架完成了绝大部分的工作:

(1)对request序列化,压缩,处理生成二进制报文;

(2)连接池,超时,任务队列,异步等处理;

(3)对request二进制报文处理,解压缩,反序列化;

...

对应上图中中间的方框的红色部分,以及大部分流程。

在这个过程中,srpc采用插件化设计,各种复杂性细节,对接口调用方与服务提供方,都是透明的,并且具备良好的扩展性

如上图所示,用户只需要关注IDL,即逻辑请求,响应,接口的调用与实现。框架层面,将各种能力以插件的方式集成进来,向用户提供不同能力的组合选择。

另外,定义好IDL之后,服务端的代码可以利用框架提供的工具自动生成代码,业务服务提供方,只需要专注于业务接口的实现即可。本文部分摘自“架构师之路”。

相关推荐

团队管理“布阵术”:3招让你的团队战斗力爆表!

为何古代军队能够以一当十?为何现代企业有的团队高效似“特种部队”,有的却松散若“游击队”?**答案正隐匿于“布阵术”之中!**今时今日,让我们从古代兵法里萃取3个核心要义,助您塑造一支战斗力爆棚的...

知情人士回应字节大模型团队架构调整

【知情人士回应字节大模型团队架构调整】财联社2月21日电,针对原谷歌DeepMind副总裁吴永辉加入字节跳动后引发的团队调整问题,知情人士回应称:吴永辉博士主要负责AI基础研究探索工作,偏基础研究;A...

豆包大模型团队开源RLHF框架,训练吞吐量最高提升20倍

强化学习(RL)对大模型复杂推理能力提升有关键作用,但其复杂的计算流程对训练和部署也带来了巨大挑战。近日,字节跳动豆包大模型团队与香港大学联合提出HybridFlow。这是一个灵活高效的RL/RL...

创业团队如何设计股权架构及分配(创业团队如何设计股权架构及分配方案)

创业团队的股权架构设计,决定了公司在随后发展中呈现出的股权布局。如果最初的股权架构就存在先天不足,公司就很难顺利、稳定地成长起来。因此,创业之初,对股权设计应慎之又慎,避免留下巨大隐患和风险。两个人如...

消息称吴永辉入职后引发字节大模型团队架构大调整

2月21日,有消息称前谷歌大佬吴永辉加入字节跳动,并担任大模型团队Seed基础研究负责人后,引发了字节跳动大模型团队架构大调整。多名原本向朱文佳汇报的算法和技术负责人开始转向吴永辉汇报。简单来说,就是...

31页组织效能提升模型,经营管理团队搭建框架与权责定位

分享职场干货,提升能力!为职场精英打造个人知识体系,升职加薪!31页组织效能提升模型如何拿到分享的源文件:请您关注本头条号,然后私信本头条号“文米”2个字,按照操作流程,专人负责发送源文件给您。...

异形柱结构(异形柱结构技术规程)

下列关于混凝土异形柱结构设计的说法,其中何项正确?(A)混凝土异形柱框架结构可用于所有非抗震和抗震设防地区的一般居住建筑。(B)抗震设防烈度为6度时,对标准设防类(丙类)采用异形柱结构的建筑可不进行地...

职场干货:金字塔原理(金字塔原理实战篇)

金字塔原理的适用范围:金字塔原理适用于所有需要构建清晰逻辑框架的文章。第一篇:表达的逻辑。如何利用金字塔原理构建基本的金字塔结构受众(包括读者、听众、观众或学员)最容易理解的顺序:先了解主要的、抽象的...

底部剪力法(底部剪力法的基本原理)

某四层钢筋混凝土框架结构,计算简图如图1所示。抗震设防类别为丙类,抗震设防烈度为8度(0.2g),Ⅱ类场地,设计地震分组为第一组,第一自振周期T1=0.55s。一至四层的楼层侧向刚度依次为:K1=1...

结构等效重力荷载代表值(等效重力荷载系数)

某五层钢筋混凝土框架结构办公楼,房屋高度25.45m。抗震设防烈度8度,设防类别丙类,设计基本地震加速度0.2g,设计地震分组第二组,场地类别为Ⅱ类,混凝土强度等级C30。该结构平面和竖向均规则。假定...

体系结构已成昭告后世善莫大焉(体系构架是什么意思)

实践先行也理论已初步完成框架结构留余后人后世子孙俗话说前人栽树后人乘凉在夏商周大明大清民国共和前人栽树下吾之辈已完成结构体系又俗话说青出于蓝而胜于蓝各个时期任务不同吾辈探索框架结构体系经历有限肯定发展...

框架柱抗震构造要求(框架柱抗震设计)

某现浇钢筋混凝土框架-剪力墙结构高层办公楼,抗震设防烈度为8度(0.2g),场地类别为Ⅱ类,抗震等级:框架二级,剪力墙一级,混凝土强度等级:框架柱及剪力墙C50,框架梁及楼板C35,纵向钢筋及箍筋均采...

梁的刚度、挠度控制(钢梁挠度过大会引起什么原因)

某办公楼为现浇钢筋混凝土框架结构,r0=1.0,混凝土强度等级C35,纵向钢筋采用HRB400,箍筋采用HPB300。其二层(中间楼层)的局部平面图和次梁L-1的计算简图如图1~3(Z)所示,其中,K...

死要面子!有钱做大玻璃窗,却没有钱做“柱和梁”,不怕房塌吗?

活久见,有钱做2层落地大玻璃窗,却没有钱做“柱子和圈梁”,这样的农村自建房,安全吗?最近刷到个魔幻施工现场,如下图,这栋5开间的农村自建房,居然做了2个全景落地窗仔细观察,这2个落地窗还是飘窗,为了追...

不是承重墙,物业也不让拆?话说装修就一定要拆墙才行么

最近发现好多朋友装修时总想拆墙“爆改”空间,别以为只要避开承重墙就能随便砸!我家楼上邻居去年装修,拆了阳台矮墙想扩客厅,结果物业直接上门叫停。后来才知道,这种配重墙拆了会让阳台承重失衡,整栋楼都可能变...

取消回复欢迎 发表评论: