漫谈gRPC:Google自研的rpc框架(grpc github)
ccwgpt 2024-10-13 01:30 50 浏览 0 评论
简介
gRPC 是一个高性能、开源和通用的 RPC 框架,面向移动和 HTTP/2 设计。目前提供 C、Java 和 Go 语言版本,分别是:grpc, grpc-java, grpc-go. 其中 C 版本支持 C, C++, Node.js, Python, Ruby, Objective-C, PHP 和 C# 支持.
gRPC 基于 HTTP/2 标准设计,带来诸如双向流、流控、头部压缩、单 TCP 连接上的多复用请求等特。这些特性使得其在移动设备上表现更好,更省电和节省空间占用。
2 gRPC介绍
gRPC是一个现代的开源高性能RPC框架,可以在任何环境中运行。它可以有效地连接数据中心内和跨数据中心的服务,并提供可插拔的支持,以实现负载平衡(load balancing),调用链追踪(tracing),健康检查(health checking)和身份验证(authentication)。它还适用于分布式计算的最后一英里,用于将设备,移动应用程序和浏览器连接到后端服务。
gRPC的四个核心特性,使得其对开发者有着极大的吸引力:
- 简单的服务定义
- 跨平台跨语言
- 基于http/2双向流传输
- 可插拔的插件机制
2.1 服务定义
与许多 RPC 系统类似,gRPC 也是基于以下理念:定义一个服务,指定其能够被远程调用的方法(包含参数和返回类型)。在服务端实现这个接口,并运行一个 gRPC 服务器来处理客户端调用。在客户端拥有一个存根(Stub),它提供与服务器相同的方法。客户端应用可以像调用本地对象一样直接调用另一台不同的机器上服务端应用的方法,其背后会通过RPC通信给服务端发送请求,并获得响应。如下图:
要完成这样的功能,我们首先要进行服务定义(Service Definition),一些框架中,将定义服务的语法称之为IDL(Interface Definition Language,接口定义语言)。
gRPC 默认使用 Protocol Buffer进行服务定义,这是 Google 开源的一套成熟的结构数据序列化机制(当然也可以使用其他数据格式如 JSON)。
目前Protocol Buffer已经发展到proto3,相对于proto2,它拥有轻量简化的语法、一些有用的新功能,并且支持更多新语言。通常建议在 gRPC 里使用 proto3,因为这样你可以使用 gRPC 支持全部范围的的语言,并且能避免 proto2 客户端与 proto3 服务端交互时出现的兼容性问题,反之亦然。
使用Protocol Buffer进行服务定义非常简单明了,我们可以创建一个.proto文件,按照Protocol Buffer语法编写此文件,如:
?
说明如下:
- 定义一个表示请求的HelloRequest,其包含一个message字段表示请求内容
- 定义一个表示响应的HelloResponse,其包含一个message字段表示响应内容
- 定义服务HelloService,其提供一个hello方法,以HelloRequest作为方法参数,并返回HelloResponse
考虑为什么要在一个文件中进行服务定义?
这主要是为了跨语言。gRPC提供了工具,可以根据服务定义文件,来为不同的平台和语言生成server端和client端的代码,意味着你的服务端和客户端,可以使用不同的语言。例如,笔者最近开发的一个服务,服务端使用go编写,客户端需要支持go、python、java。此时笔者就可以根据这个配置文件,分别生成不同语言的代码。
2.2 跨语言跨平台工作
gRPC提供了工具,可以为不同的平台、语言,生成对应的client和server代码,使得彼此之间可以通过gRPC进行通信。
通常一个规模较大的公司,技术栈往往不统一,可能会使用多种语言。通过gRPC,服务端我们可以使用一种语言编写,而客户端可以支持多种语言。
下图演示了服务端使用C++,客户端使用Java和Ruby的交互案例:
?
截止笔者撰写此文(2019年6月28日),官方支持10种语言,以及linux、mac、windows三种平台,具体如下:
?
2.3 插件机制
grpc提供了可插拔的插件机制,或者说是拦截器机制,以对每一次RPC请求进行拦截。基于此,我们可以实现一些RPC通信过程中的高级功能。如:
身份验证:
gRPC内置了两种验证机制,基于连接层面的SSL/TLS,以及基于Google Token的身份认证机制。如果不满足需求,你也很容易的进行扩展自己验证机制。
负载均衡:
在微服务架构中,为了实现容灾、高可用或者水平扩展等目的,通常一个服务都会部署多个节点。客户端在调用时,尽量的将请求分散在不同的节点上,以实现负载均衡。通常负载均衡有两种模式:1)通过代理,即请求先发送给一个中间代理服务器,例如nginx,由代理按照负载均衡策略选择一个后端节点进行处理;2) 客户端路由:客户端按照负载均衡选择某个后端服务节点,进行调用。gRPC提供了一套完善的机制,支持客户端发现服务端有哪些节点,以及自定义负载均衡策略。
健康检查:
健康检查用于探测服务端是否可以处理RPC请求。检查检查可以由客户端直接发起,或者通过其他系统(如consul)。服务端可以选择回复”unhealthy"来表明自己还没准备好处理请求,或者服务端已经宕机。客户端根据服务端回复的响应信息,或者指定时间内是否收到响应,来判断服务端是否健康。
2.4 基于HTTP/2双向流传输
gRPC 基于 HTTP/2 标准设计,带来诸如双向流、流控、头部压缩、单 TCP 连接上的多复用请求等特。这些特性使得其在移动设备上表现更好,更省电和节省空间占用。
?
gRPC利用HTTP/2进行消息传输,但是其只是本身定义了HTTP2中的传输单元中帧(Frame)的格式。至于HTTP/2协议本身的解析,gRPC尽量复用已有的组件。例如,在Java中,Netty本身支持HTTP/2协议协议,因此gRPC默认是支持与netty进行整合的。又或者,如果你希望移动设备(如安卓),可以直接与服务端进行交互,那么在安卓客户端,你可以选择将gRPC与okHttp进行整合。
3 gRPC生态体系
gRPC有着丰富的生态系统,这些组件是由不是官方提供。以下介绍部分组件:
- grpc-opentracing
- grpc-gateway
- grpc-prometheus
- 其他组件
3.1 grpc-opentracing
在RPC调用过程中,可能会出现A调动B,B又调用C等情况,此时我们希望对完整的调用链路进行追踪。
grpc生态系统中有一个grpc-opentracing组件,我们可以使用其对接zipkin,进行调用链路展示,查看整个调用链路中每个环节的耗时,以发现系统的瓶颈。下
图来源自zipkin官网,我们可以看到链路追踪的最终展示效果:
?
3.2 grpc-promethus
grpc-prometheus来对gRPC服务进行监控,并将监控数据存储到prometheus中。
?
目前有2种语言的实现:
- java-grpc-prometheus
- go-grpc-prometheus
监控指标服务端与客户端分别统计,统计的指标包括:发起了多少个请求,接收到了多少个响应,响应延迟等。
3.3 grpc-gateway
?
gRPC已经支持了绝大部分主流语言,对于一些小众语言可能不支持,此时你可以使用grpc-gateway来进行反向代理。
grpc-gateway本质是一个protoc插件,我们在编写gRPC服务定义proto文件,通过指定一些自定义选项,在编译时,在生成gRPC代码时,额外指定生成grpc-gateway反向代理相关代码,其作用是将RESTful JSON API请求转换为gRPC请求。
之后,我们对反向代理代码进行改造,对于不支持gRPC的语言,让其发送HTTP RESTful JSON 请求,通过反向代理将其转换成grpc请求,下图演示了其工作原理:
?
3.4 其他支持
上述提到的几个组件gRPC生态体系中的组件,围绕着gRPC来开发的。一些其他的著名开源软件,如nginx、haproxy等,也提供了对gRPC的支持。
3.4.1 nginx对gRPC的支持
nginx从1.13.10开始提供对grpc的支持,client端和server端都可以使用gRPC实现,通过nginx进行代理,如下图:
?
nginx使用grpc_pass指令代理流量。下面的nginx代理配置,演示了在端口80上侦听未加密的gRPC流量并将请求转发到端口50051上的服务器。
?
更完整的介绍和配置,点击这里:
https://www.nginx.com/blog/nginx-1-13-10-grpc/
3.4.2 HAProxy对gRPC的支持
HAProxy 从1.9.2 添加了对gRPC的支持。完整介绍,点击以下链接:
https://www.haproxy.com/blog/haproxy-1-9-2-adds-grpc-support/
?
相关推荐
- 十分钟让你学会LNMP架构负载均衡(impala负载均衡)
-
业务架构、应用架构、数据架构和技术架构一、几个基本概念1、pv值pv值(pageviews):页面的浏览量概念:一个网站的所有页面,在一天内,被浏览的总次数。(大型网站通常是上千万的级别)2、u...
- AGV仓储机器人调度系统架构(agv物流机器人)
-
系统架构层次划分采用分层模块化设计,分为以下五层:1.1用户接口层功能:提供人机交互界面(Web/桌面端),支持任务下发、实时监控、数据可视化和报警管理。模块:任务管理面板:接收订单(如拣货、...
- 远程热部署在美团的落地实践(远程热点是什么意思)
-
Sonic是美团内部研发设计的一款用于热部署的IDEA插件,本文其实现原理及落地的一些技术细节。在阅读本文之前,建议大家先熟悉一下Spring源码、SpringMVC源码、SpringBoot...
- springboot搭建xxl-job(分布式任务调度系统)
-
一、部署xxl-job服务端下载xxl-job源码:https://gitee.com/xuxueli0323/xxl-job二、导入项目、创建xxl_job数据库、修改配置文件为自己的数据库三、启动...
- 大模型:使用vLLM和Ray分布式部署推理应用
-
一、vLLM:面向大模型的高效推理框架1.核心特点专为推理优化:专注于大模型(如GPT-3、LLaMA)的高吞吐量、低延迟推理。关键技术:PagedAttention:类似操作系统内存分页管理,将K...
- 国产开源之光【分布式工作流调度系统】:DolphinScheduler
-
DolphinScheduler是一个开源的分布式工作流调度系统,旨在帮助用户以可靠、高效和可扩展的方式管理和调度大规模的数据处理工作流。它支持以图形化方式定义和管理工作流,提供了丰富的调度功能和监控...
- 简单可靠高效的分布式任务队列系统
-
#记录我的2024#大家好,又见面了,我是GitHub精选君!背景介绍在系统访问量逐渐增大,高并发、分布式系统成为了企业技术架构升级的必由之路。在这样的背景下,异步任务队列扮演着至关重要的角色,...
- 虚拟服务器之间如何分布式运行?(虚拟服务器部署)
-
在云计算和虚拟化技术快速发展的今天,传统“单机单任务”的服务器架构早已难以满足现代业务对高并发、高可用、弹性伸缩和容错容灾的严苛要求。分布式系统应运而生,并成为支撑各类互联网平台、企业信息系统和A...
- 一文掌握 XXL-Job 的 6 大核心组件
-
XXL-Job是一个分布式任务调度平台,其核心组件主要包括以下部分,各组件相互协作实现高效的任务调度与管理:1.调度注册中心(RegistryCenter)作用:负责管理调度器(Schedule...
- 京东大佬问我,SpringBoot中如何做延迟队列?单机与分布式如何做?
-
京东大佬问我,SpringBoot中如何做延迟队列?单机如何做?分布式如何做呢?并给出案例与代码分析。嗯,用户问的是在SpringBoot中如何实现延迟队列,单机和分布式环境下分别怎么做。这个问题其实...
- 企业级项目组件选型(一)分布式任务调度平台
-
官网地址:https://www.xuxueli.com/xxl-job/能力介绍架构图安全性为提升系统安全性,调度中心和执行器进行安全性校验,双方AccessToken匹配才允许通讯;调度中心和执...
- python多进程的分布式任务调度应用场景及示例
-
多进程的分布式任务调度可以应用于以下场景:分布式爬虫:importmultiprocessingimportrequestsdefcrawl(url):response=re...
- SpringBoot整合ElasticJob实现分布式任务调度
-
介绍ElasticJob是面向互联网生态和海量任务的分布式调度解决方案,由两个相互独立的子项目ElasticJob-Lite和ElasticJob-Cloud组成。它通过弹性调度、资源管控、...
- 分布式可视化 DAG 任务调度系统 Taier 的整体流程分析
-
Taier作为袋鼠云的开源项目之一,是一个分布式可视化的DAG任务调度系统。旨在降低ETL开发成本,提高大数据平台稳定性,让大数据开发人员可以在Taier直接进行业务逻辑的开发,而不用关...
- SpringBoot任务调度:@Scheduled与TaskExecutor全面解析
-
一、任务调度基础概念1.1什么是任务调度任务调度是指按照预定的时间计划或特定条件自动执行任务的过程。在现代应用开发中,任务调度扮演着至关重要的角色,它使得开发者能够自动化处理周期性任务、定时任务和异...
你 发表评论:
欢迎- 一周热门
- 最近发表
- 标签列表
-
- MVC框架 (46)
- spring框架 (46)
- 框架图 (58)
- flask框架 (53)
- quartz框架 (51)
- abp框架 (47)
- jpa框架 (47)
- laravel框架 (46)
- springmvc框架 (49)
- 分布式事务框架 (65)
- scrapy框架 (56)
- shiro框架 (61)
- 定时任务框架 (56)
- java日志框架 (61)
- JAVA集合框架 (47)
- grpc框架 (55)
- ppt框架 (48)
- 内联框架 (52)
- winform框架 (46)
- gui框架 (44)
- cad怎么画框架 (58)
- ps怎么画框架 (47)
- ssm框架实现登录注册 (49)
- oracle字符串长度 (48)
- oracle提交事务 (47)