百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

漫谈gRPC:Google自研的rpc框架(grpc github)

ccwgpt 2024-10-13 01:30 45 浏览 0 评论

简介

gRPC 是一个高性能、开源和通用的 RPC 框架,面向移动和 HTTP/2 设计。目前提供 C、Java 和 Go 语言版本,分别是:grpc, grpc-java, grpc-go. 其中 C 版本支持 C, C++, Node.js, Python, Ruby, Objective-C, PHP 和 C# 支持.

gRPC 基于 HTTP/2 标准设计,带来诸如双向流、流控、头部压缩、单 TCP 连接上的多复用请求等特。这些特性使得其在移动设备上表现更好,更省电和节省空间占用。

2 gRPC介绍

gRPC是一个现代的开源高性能RPC框架,可以在任何环境中运行。它可以有效地连接数据中心内和跨数据中心的服务,并提供可插拔的支持,以实现负载平衡(load balancing),调用链追踪(tracing),健康检查(health checking)和身份验证(authentication)。它还适用于分布式计算的最后一英里,用于将设备,移动应用程序和浏览器连接到后端服务。

gRPC的四个核心特性,使得其对开发者有着极大的吸引力:

  • 简单的服务定义
  • 跨平台跨语言
  • 基于http/2双向流传输
  • 可插拔的插件机制

2.1 服务定义

与许多 RPC 系统类似,gRPC 也是基于以下理念:定义一个服务,指定其能够被远程调用的方法(包含参数和返回类型)。在服务端实现这个接口,并运行一个 gRPC 服务器来处理客户端调用。在客户端拥有一个存根(Stub),它提供与服务器相同的方法。客户端应用可以像调用本地对象一样直接调用另一台不同的机器上服务端应用的方法,其背后会通过RPC通信给服务端发送请求,并获得响应。如下图:

要完成这样的功能,我们首先要进行服务定义(Service Definition),一些框架中,将定义服务的语法称之为IDL(Interface Definition Language,接口定义语言)。

gRPC 默认使用 Protocol Buffer进行服务定义,这是 Google 开源的一套成熟的结构数据序列化机制(当然也可以使用其他数据格式如 JSON)。

目前Protocol Buffer已经发展到proto3,相对于proto2,它拥有轻量简化的语法、一些有用的新功能,并且支持更多新语言。通常建议在 gRPC 里使用 proto3,因为这样你可以使用 gRPC 支持全部范围的的语言,并且能避免 proto2 客户端与 proto3 服务端交互时出现的兼容性问题,反之亦然。

使用Protocol Buffer进行服务定义非常简单明了,我们可以创建一个.proto文件,按照Protocol Buffer语法编写此文件,如:

?

说明如下:

  1. 定义一个表示请求的HelloRequest,其包含一个message字段表示请求内容
  2. 定义一个表示响应的HelloResponse,其包含一个message字段表示响应内容
  3. 定义服务HelloService,其提供一个hello方法,以HelloRequest作为方法参数,并返回HelloResponse

考虑为什么要在一个文件中进行服务定义?

这主要是为了跨语言。gRPC提供了工具,可以根据服务定义文件,来为不同的平台和语言生成server端和client端的代码,意味着你的服务端和客户端,可以使用不同的语言。例如,笔者最近开发的一个服务,服务端使用go编写,客户端需要支持go、python、java。此时笔者就可以根据这个配置文件,分别生成不同语言的代码。

2.2 跨语言跨平台工作

gRPC提供了工具,可以为不同的平台、语言,生成对应的client和server代码,使得彼此之间可以通过gRPC进行通信。

通常一个规模较大的公司,技术栈往往不统一,可能会使用多种语言。通过gRPC,服务端我们可以使用一种语言编写,而客户端可以支持多种语言。

下图演示了服务端使用C++,客户端使用Java和Ruby的交互案例:

?

截止笔者撰写此文(2019年6月28日),官方支持10种语言,以及linux、mac、windows三种平台,具体如下:

?

2.3 插件机制

grpc提供了可插拔的插件机制,或者说是拦截器机制,以对每一次RPC请求进行拦截。基于此,我们可以实现一些RPC通信过程中的高级功能。如:

身份验证:

gRPC内置了两种验证机制,基于连接层面的SSL/TLS,以及基于Google Token的身份认证机制。如果不满足需求,你也很容易的进行扩展自己验证机制。

负载均衡:

在微服务架构中,为了实现容灾、高可用或者水平扩展等目的,通常一个服务都会部署多个节点。客户端在调用时,尽量的将请求分散在不同的节点上,以实现负载均衡。通常负载均衡有两种模式:1)通过代理,即请求先发送给一个中间代理服务器,例如nginx,由代理按照负载均衡策略选择一个后端节点进行处理;2) 客户端路由:客户端按照负载均衡选择某个后端服务节点,进行调用。gRPC提供了一套完善的机制,支持客户端发现服务端有哪些节点,以及自定义负载均衡策略。

健康检查:

健康检查用于探测服务端是否可以处理RPC请求。检查检查可以由客户端直接发起,或者通过其他系统(如consul)。服务端可以选择回复”unhealthy"来表明自己还没准备好处理请求,或者服务端已经宕机。客户端根据服务端回复的响应信息,或者指定时间内是否收到响应,来判断服务端是否健康。

2.4 基于HTTP/2双向流传输

gRPC 基于 HTTP/2 标准设计,带来诸如双向流、流控、头部压缩、单 TCP 连接上的多复用请求等特。这些特性使得其在移动设备上表现更好,更省电和节省空间占用。

?

gRPC利用HTTP/2进行消息传输,但是其只是本身定义了HTTP2中的传输单元中帧(Frame)的格式。至于HTTP/2协议本身的解析,gRPC尽量复用已有的组件。例如,在Java中,Netty本身支持HTTP/2协议协议,因此gRPC默认是支持与netty进行整合的。又或者,如果你希望移动设备(如安卓),可以直接与服务端进行交互,那么在安卓客户端,你可以选择将gRPC与okHttp进行整合。

3 gRPC生态体系

gRPC有着丰富的生态系统,这些组件是由不是官方提供。以下介绍部分组件:

  • grpc-opentracing
  • grpc-gateway
  • grpc-prometheus
  • 其他组件

3.1 grpc-opentracing

在RPC调用过程中,可能会出现A调动B,B又调用C等情况,此时我们希望对完整的调用链路进行追踪。

grpc生态系统中有一个grpc-opentracing组件,我们可以使用其对接zipkin,进行调用链路展示,查看整个调用链路中每个环节的耗时,以发现系统的瓶颈。下

图来源自zipkin官网,我们可以看到链路追踪的最终展示效果:

?

3.2 grpc-promethus

grpc-prometheus来对gRPC服务进行监控,并将监控数据存储到prometheus中。

?

目前有2种语言的实现:

  • java-grpc-prometheus
  • go-grpc-prometheus

监控指标服务端与客户端分别统计,统计的指标包括:发起了多少个请求,接收到了多少个响应,响应延迟等。

3.3 grpc-gateway

?

gRPC已经支持了绝大部分主流语言,对于一些小众语言可能不支持,此时你可以使用grpc-gateway来进行反向代理。

grpc-gateway本质是一个protoc插件,我们在编写gRPC服务定义proto文件,通过指定一些自定义选项,在编译时,在生成gRPC代码时,额外指定生成grpc-gateway反向代理相关代码,其作用是将RESTful JSON API请求转换为gRPC请求。

之后,我们对反向代理代码进行改造,对于不支持gRPC的语言,让其发送HTTP RESTful JSON 请求,通过反向代理将其转换成grpc请求,下图演示了其工作原理:

?

3.4 其他支持

上述提到的几个组件gRPC生态体系中的组件,围绕着gRPC来开发的。一些其他的著名开源软件,如nginx、haproxy等,也提供了对gRPC的支持。

3.4.1 nginx对gRPC的支持

nginx从1.13.10开始提供对grpc的支持,client端和server端都可以使用gRPC实现,通过nginx进行代理,如下图:

?

nginx使用grpc_pass指令代理流量。下面的nginx代理配置,演示了在端口80上侦听未加密的gRPC流量并将请求转发到端口50051上的服务器。

?

更完整的介绍和配置,点击这里:

https://www.nginx.com/blog/nginx-1-13-10-grpc/

3.4.2 HAProxy对gRPC的支持

HAProxy 从1.9.2 添加了对gRPC的支持。完整介绍,点击以下链接:

https://www.haproxy.com/blog/haproxy-1-9-2-adds-grpc-support/

?

相关推荐

团队管理“布阵术”:3招让你的团队战斗力爆表!

为何古代军队能够以一当十?为何现代企业有的团队高效似“特种部队”,有的却松散若“游击队”?**答案正隐匿于“布阵术”之中!**今时今日,让我们从古代兵法里萃取3个核心要义,助您塑造一支战斗力爆棚的...

知情人士回应字节大模型团队架构调整

【知情人士回应字节大模型团队架构调整】财联社2月21日电,针对原谷歌DeepMind副总裁吴永辉加入字节跳动后引发的团队调整问题,知情人士回应称:吴永辉博士主要负责AI基础研究探索工作,偏基础研究;A...

豆包大模型团队开源RLHF框架,训练吞吐量最高提升20倍

强化学习(RL)对大模型复杂推理能力提升有关键作用,但其复杂的计算流程对训练和部署也带来了巨大挑战。近日,字节跳动豆包大模型团队与香港大学联合提出HybridFlow。这是一个灵活高效的RL/RL...

创业团队如何设计股权架构及分配(创业团队如何设计股权架构及分配方案)

创业团队的股权架构设计,决定了公司在随后发展中呈现出的股权布局。如果最初的股权架构就存在先天不足,公司就很难顺利、稳定地成长起来。因此,创业之初,对股权设计应慎之又慎,避免留下巨大隐患和风险。两个人如...

消息称吴永辉入职后引发字节大模型团队架构大调整

2月21日,有消息称前谷歌大佬吴永辉加入字节跳动,并担任大模型团队Seed基础研究负责人后,引发了字节跳动大模型团队架构大调整。多名原本向朱文佳汇报的算法和技术负责人开始转向吴永辉汇报。简单来说,就是...

31页组织效能提升模型,经营管理团队搭建框架与权责定位

分享职场干货,提升能力!为职场精英打造个人知识体系,升职加薪!31页组织效能提升模型如何拿到分享的源文件:请您关注本头条号,然后私信本头条号“文米”2个字,按照操作流程,专人负责发送源文件给您。...

异形柱结构(异形柱结构技术规程)

下列关于混凝土异形柱结构设计的说法,其中何项正确?(A)混凝土异形柱框架结构可用于所有非抗震和抗震设防地区的一般居住建筑。(B)抗震设防烈度为6度时,对标准设防类(丙类)采用异形柱结构的建筑可不进行地...

职场干货:金字塔原理(金字塔原理实战篇)

金字塔原理的适用范围:金字塔原理适用于所有需要构建清晰逻辑框架的文章。第一篇:表达的逻辑。如何利用金字塔原理构建基本的金字塔结构受众(包括读者、听众、观众或学员)最容易理解的顺序:先了解主要的、抽象的...

底部剪力法(底部剪力法的基本原理)

某四层钢筋混凝土框架结构,计算简图如图1所示。抗震设防类别为丙类,抗震设防烈度为8度(0.2g),Ⅱ类场地,设计地震分组为第一组,第一自振周期T1=0.55s。一至四层的楼层侧向刚度依次为:K1=1...

结构等效重力荷载代表值(等效重力荷载系数)

某五层钢筋混凝土框架结构办公楼,房屋高度25.45m。抗震设防烈度8度,设防类别丙类,设计基本地震加速度0.2g,设计地震分组第二组,场地类别为Ⅱ类,混凝土强度等级C30。该结构平面和竖向均规则。假定...

体系结构已成昭告后世善莫大焉(体系构架是什么意思)

实践先行也理论已初步完成框架结构留余后人后世子孙俗话说前人栽树后人乘凉在夏商周大明大清民国共和前人栽树下吾之辈已完成结构体系又俗话说青出于蓝而胜于蓝各个时期任务不同吾辈探索框架结构体系经历有限肯定发展...

框架柱抗震构造要求(框架柱抗震设计)

某现浇钢筋混凝土框架-剪力墙结构高层办公楼,抗震设防烈度为8度(0.2g),场地类别为Ⅱ类,抗震等级:框架二级,剪力墙一级,混凝土强度等级:框架柱及剪力墙C50,框架梁及楼板C35,纵向钢筋及箍筋均采...

梁的刚度、挠度控制(钢梁挠度过大会引起什么原因)

某办公楼为现浇钢筋混凝土框架结构,r0=1.0,混凝土强度等级C35,纵向钢筋采用HRB400,箍筋采用HPB300。其二层(中间楼层)的局部平面图和次梁L-1的计算简图如图1~3(Z)所示,其中,K...

死要面子!有钱做大玻璃窗,却没有钱做“柱和梁”,不怕房塌吗?

活久见,有钱做2层落地大玻璃窗,却没有钱做“柱子和圈梁”,这样的农村自建房,安全吗?最近刷到个魔幻施工现场,如下图,这栋5开间的农村自建房,居然做了2个全景落地窗仔细观察,这2个落地窗还是飘窗,为了追...

不是承重墙,物业也不让拆?话说装修就一定要拆墙才行么

最近发现好多朋友装修时总想拆墙“爆改”空间,别以为只要避开承重墙就能随便砸!我家楼上邻居去年装修,拆了阳台矮墙想扩客厅,结果物业直接上门叫停。后来才知道,这种配重墙拆了会让阳台承重失衡,整栋楼都可能变...

取消回复欢迎 发表评论: