百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

腾讯开源 tRPC:多语言、高性能 RPC 开发框架

ccwgpt 2024-10-13 01:31 47 浏览 0 评论



互联网发展早期,业务场景差异大,试错迭代速度很快。这导致其后台服务使用的语言技术栈、开发框架、通信协议、服务治理系统、运维平台等或多或少存在差异。


业务发展到一定阶段后,跨业务合作越来越多,组织架构调整也愈发频繁。技术体系差异,特别是开发框架的不统一,给业务互通带来巨大成本,也导致开发和运营的效率难以快速提高。


同时,随着云原生技术的发展,业务越来越多地使用开源技术和云组件。拥抱云原生已经是一种主流趋势。

上述问题在腾讯内部也同样存在,且因为规模大、业务类型多,更加难以解决,更必须解决。tRPC 就是在这种背景下诞生的。


既要与存量技术体系互联互通,又要适配云原生技术并且快速发展。这就要求开发框架必须具备开放性和可扩展性。为了达到这个目的,tRPC 在架构设计上采用插件化设计思想。



上图是 tRPC 整体的架构设计图,总体架构由“框架和“插件两部分组成, 其中虚线框内为 tRPC,中间的红色实线框为框架核心部分,蓝色实线框为插件部分。


框架核心部分分三层:

通信层: 负责数据的传输和协议的编解码,框架内置支持 tcp、udp 等通信协议,传输协议采用基于 Protocol Buffers 的 tRPC 协议来承载 RPC 调用,同时支持通过 Codec 插件来使用其它传输协议;

服务治理层: 负责将服务治理功能抽象成插件,通过调用插件和外部服务治理系统进行对接,实现服务发现、负载均衡、监控、调用链等功能;

调用层: 封装服务和服务代理实体,提供 RPC 调用接口,支持业务用同步、异步、单向以及流式调用等方式进行服务间调用。


插件部分则是框架核心和外部组件串联起来的桥梁。在插件设计上,框架采用了基于接口机制的插件工厂+基于 AOP 的拦截器 Filter。


其中,通过基于 AOP 的拦截器 Filter,框架把业务个性化的需求(比如:校验校验、请求回放、故障注入等)、以及服务治理的大部分功能(比如:监控指标上报,调用链跟踪,远程日志,鉴权等)以横切关注点的方式,插入到请求/响应处理的流程中,来增强框架的可扩展性。


通过基于接口机制的插件工厂,框架只需要定义一些插件模块的标准接口,并提供注册能力,而不做具体实现。而在与不同协议的服务互通,或者对接某个服务治理系统时,只需要开发对应的具体插件即可。


插件按功能大致分为下面几类:

  • Codec:提供协议编解码相关的接口,允许通过插件的方式来扩展业务协议、序列化方式、数据压缩方式等协议处理;

  • Naming:提供了服务注册(Registry)、服务发现(Selector)、负载均衡(LoadBalance)、熔断(CircuitBreaker)等能力封装,用于对接各种名字服务系统;

  • Config:提供了配置读取相关的接口,支持读取本地配置文件、远程配置中心配置等,允许插件式扩展支持不同格式的配置文件、不同的配置中心,支持 Reload、Watch 配置更新;

  • Metrics:提供了监控上报的能力,支持常见的单维上报,如Counter、Gauge等,也支持多维上报,允许通过扩展对接不同的监控系统;

  • Logging:提供了通用的日志采集接口,允许通过插件的方式来扩展日志实现,输出到远程;

  • Tracing:提供了分布式跟踪能力,允许通过插件的方式上报到调用链系统;

  • Telemetry:提供了采集和上报遥测数据的能力,是一个集成了链路追踪(Tracing)、监控上报(Metrics)、日志采集(Logging)三大功能的插件。


此外框架还设计了 Admin 管理接口,方便用户或者运营平台可以通过调用 Admin 接口对服务进行管理。

总体来说,tRPC 将核心功能抽象封装成一个个独立的插件,然后由框架来负责这些独立插件的串联和拼装,从而实现框架所要支持的功能特性,通过这种设计使 tRPC 具备很强的开放性和可扩展性。业务可以灵活替换插件,实现与不同系统的对接,也可以进行业务个性化定制能力实现。



  • 跨语言:基于 Protocol Buffers 来实现跨语言的服务通信。

  • 多通信协议:支持多种通信协议,方便与不同框架进行互通(比如 gRPC)

  • 支持流式 RPC:更好地适用于大文件上传/下载、消息 Push、AI 类语音识别/视频理解等多种应用场景。

  • 丰富插件生态:提供大量对接业界微服务组件的插件(比如 Consul/Promethues/Opentelemetry 等),方便用户构建适合自己的服务治理体系。

  • 可扩展:基于框架插件化的设计,用户可以进行二次开发来扩展框架能力,比如:RPC 请求参数校验、鉴权、请求录制等。

  • 流控和过载保护:提供多种应用场景下的流量控制和过载保护插件,防止服务因为访问突增造成过载而不可用。



tRPC 在性能这块更多的是适应腾讯不同的业务场景(比如:业务网关场景/推荐搜索场景/游戏场景/流式数据传输场景/AI 类场景/存储场景等)。以下是tRPC 框架简单的基准性能测试(数据仅作参考)

测试机型:

腾讯云标准型 SA2 CVM虚拟机,CPU处理器型号 AMD EPYC? Rome,8核,2.60GHz,内存16G。

测试场景和数据:


吞吐测试:调用方的 P99 延时在 10ms 左右时,测量服务的 QPS。


长尾请求测试:在纯服务端模式下,固定 QPS 为1w/s时,在有 1% 的请求处理存在 5ms 长尾延时情况下,考察普通请求的处理延时情况。



tRPC 在腾讯公司内部诞生,经过4年的不断打磨,已经广泛应用到了腾讯内部的多数业务当中。同时一些外部用户(阅文/腾讯音乐/腾讯云相关的合作公司等也在使用当中。



● 开源更多编程语言:Java、Python、Node。

● 丰富生态,开源更多云原生相关的插件和组件。


对外开源的官方网站:https://trpc.group/

Github 主仓库:https://github.com/trpc-group

Github 插件仓库:https://github.com/trpc-ecosystem


-End-




本文由高可用架构转载。技术原创及架构实践文章,欢迎通过公众号菜单「联系我们」进行投稿


相关推荐

团队管理“布阵术”:3招让你的团队战斗力爆表!

为何古代军队能够以一当十?为何现代企业有的团队高效似“特种部队”,有的却松散若“游击队”?**答案正隐匿于“布阵术”之中!**今时今日,让我们从古代兵法里萃取3个核心要义,助您塑造一支战斗力爆棚的...

知情人士回应字节大模型团队架构调整

【知情人士回应字节大模型团队架构调整】财联社2月21日电,针对原谷歌DeepMind副总裁吴永辉加入字节跳动后引发的团队调整问题,知情人士回应称:吴永辉博士主要负责AI基础研究探索工作,偏基础研究;A...

豆包大模型团队开源RLHF框架,训练吞吐量最高提升20倍

强化学习(RL)对大模型复杂推理能力提升有关键作用,但其复杂的计算流程对训练和部署也带来了巨大挑战。近日,字节跳动豆包大模型团队与香港大学联合提出HybridFlow。这是一个灵活高效的RL/RL...

创业团队如何设计股权架构及分配(创业团队如何设计股权架构及分配方案)

创业团队的股权架构设计,决定了公司在随后发展中呈现出的股权布局。如果最初的股权架构就存在先天不足,公司就很难顺利、稳定地成长起来。因此,创业之初,对股权设计应慎之又慎,避免留下巨大隐患和风险。两个人如...

消息称吴永辉入职后引发字节大模型团队架构大调整

2月21日,有消息称前谷歌大佬吴永辉加入字节跳动,并担任大模型团队Seed基础研究负责人后,引发了字节跳动大模型团队架构大调整。多名原本向朱文佳汇报的算法和技术负责人开始转向吴永辉汇报。简单来说,就是...

31页组织效能提升模型,经营管理团队搭建框架与权责定位

分享职场干货,提升能力!为职场精英打造个人知识体系,升职加薪!31页组织效能提升模型如何拿到分享的源文件:请您关注本头条号,然后私信本头条号“文米”2个字,按照操作流程,专人负责发送源文件给您。...

异形柱结构(异形柱结构技术规程)

下列关于混凝土异形柱结构设计的说法,其中何项正确?(A)混凝土异形柱框架结构可用于所有非抗震和抗震设防地区的一般居住建筑。(B)抗震设防烈度为6度时,对标准设防类(丙类)采用异形柱结构的建筑可不进行地...

职场干货:金字塔原理(金字塔原理实战篇)

金字塔原理的适用范围:金字塔原理适用于所有需要构建清晰逻辑框架的文章。第一篇:表达的逻辑。如何利用金字塔原理构建基本的金字塔结构受众(包括读者、听众、观众或学员)最容易理解的顺序:先了解主要的、抽象的...

底部剪力法(底部剪力法的基本原理)

某四层钢筋混凝土框架结构,计算简图如图1所示。抗震设防类别为丙类,抗震设防烈度为8度(0.2g),Ⅱ类场地,设计地震分组为第一组,第一自振周期T1=0.55s。一至四层的楼层侧向刚度依次为:K1=1...

结构等效重力荷载代表值(等效重力荷载系数)

某五层钢筋混凝土框架结构办公楼,房屋高度25.45m。抗震设防烈度8度,设防类别丙类,设计基本地震加速度0.2g,设计地震分组第二组,场地类别为Ⅱ类,混凝土强度等级C30。该结构平面和竖向均规则。假定...

体系结构已成昭告后世善莫大焉(体系构架是什么意思)

实践先行也理论已初步完成框架结构留余后人后世子孙俗话说前人栽树后人乘凉在夏商周大明大清民国共和前人栽树下吾之辈已完成结构体系又俗话说青出于蓝而胜于蓝各个时期任务不同吾辈探索框架结构体系经历有限肯定发展...

框架柱抗震构造要求(框架柱抗震设计)

某现浇钢筋混凝土框架-剪力墙结构高层办公楼,抗震设防烈度为8度(0.2g),场地类别为Ⅱ类,抗震等级:框架二级,剪力墙一级,混凝土强度等级:框架柱及剪力墙C50,框架梁及楼板C35,纵向钢筋及箍筋均采...

梁的刚度、挠度控制(钢梁挠度过大会引起什么原因)

某办公楼为现浇钢筋混凝土框架结构,r0=1.0,混凝土强度等级C35,纵向钢筋采用HRB400,箍筋采用HPB300。其二层(中间楼层)的局部平面图和次梁L-1的计算简图如图1~3(Z)所示,其中,K...

死要面子!有钱做大玻璃窗,却没有钱做“柱和梁”,不怕房塌吗?

活久见,有钱做2层落地大玻璃窗,却没有钱做“柱子和圈梁”,这样的农村自建房,安全吗?最近刷到个魔幻施工现场,如下图,这栋5开间的农村自建房,居然做了2个全景落地窗仔细观察,这2个落地窗还是飘窗,为了追...

不是承重墙,物业也不让拆?话说装修就一定要拆墙才行么

最近发现好多朋友装修时总想拆墙“爆改”空间,别以为只要避开承重墙就能随便砸!我家楼上邻居去年装修,拆了阳台矮墙想扩客厅,结果物业直接上门叫停。后来才知道,这种配重墙拆了会让阳台承重失衡,整栋楼都可能变...

取消回复欢迎 发表评论: