百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

golang 微服务(3) gRPC(golang服务端开发)

ccwgpt 2024-10-13 01:32 104 浏览 0 评论

RPC

gRPC 是由 Google 主导开发的 RPC 框架,使用HTTP/2协议并用ProtoBuf作为序列化工具。


RPC 主流框架

  • Dubbo
  • Motan
  • Thrift
  • gRPC

这些是当前主流的一些 RPC 框架,其中 Dubbo 是阿里推出的 RPC 框架,开始只支持 java 现在也支持多语言,ThriftgRPC 是最近流行起来的 RPC 框架,而且支持多语言。接下来我们就重点地说一说 gRPC


gRPC

在 gRPC 是 google 推出的,google 的东西主要推崇是效率,所以相对于其他 RPC 框架 gRPC 就在性能方面还是具有一定优势的。gRPC 是一款中立语言,可以在多种环境下运行,随后我们就不以 go 来而做实例而是用 nodejs 写一个 gRPC 的例子。我们可以用不同语言来写客户端和服务端。


客户端/服务端 通讯

  • SOAP, REST, GraphQL
  • SSE, WebSockets
  • Raw TCP


客户端库带来的问题

  • 通讯协议需要客户端库SOAP LibraryHTTP Client Library
    正常运行在浏览器是没有问题,因为浏览器支持 HTTP client library 但是如果只是一个 go 应用、python 应用或者运行在 V8 引擎上 nodejs 应用,我们就需要引入 HTTP client library。
  • Hard to maintain and patch client librariesHTTP/1.1 HTTP/2 new features, security etc.


Why gRPC was invented

  • 客户端: One library for popular languages
  • 协议: gRPC 支持 HTTP/2(隐式支持)
  • 消息格式: Protocol buffers as format


gRPC 模式

  • Unary gRPC(一元操作)
  • Server streaming RPC(服务器流)
  • Client Streaming RPC(客户端流)
  • Bidirectional streaming RPC(双向流)



 npm init -y

创建 proto 文件(todo.proto)

定义好 proto 文件,然后可以根据 proto 文件被编译为目标语言,这里定义 todo.proto,

syntax = "proto3";

package todoPackage;

service Todo{
   rpc createTodo(TodoItem) returns (TodoItem);
   rpc readTodos(void) returns (TodoItems);
}

message void{

}

message TodoItem {
   int32 id = 1;
   string text = 2;
}

message TodoItems{
   repeated TodoItem items = 1;
}
  • 除了结构语句,都需要使用分号(;)结尾
  • package 表示包,主要是命名空间
  • 结构定义message 类型用于定义方法的参数和返回类型,message 定义结构体名称首字母大写,遵循驼峰命名,字段命名一般小写int32 id = 1;,后面数字 1 表示字段位置,这里多说一句,字段编码是不可以重复是唯一的,编码 1 - 15 范围是效率最高的,大于 15 会随着编码增加时间和空间效率降低。enum
  • service 相当于定义接口,在接口里有很多方法,内部提供一些 rpc 方法,rpc 方法名一般也是采用驼峰命名规则。
  • 修饰词,修饰词是针对字段,主要修饰和说明字段required 是必填字段optional 可选字段repeated repeated TodoItem items = 1; 表示列表形式数据类型
  • 数据类型


引入依赖


npm install grpc @grpc/proto-loader


grpc


grpc/proto-loader

proto-loader 用于加载 gRPC 中使用到的的.proto文件。


const grpc = require("grpc");

const protoLoader = require("@grpc/proto-loader")

const packageDef = protoLoader.loadSync("todo.proto",{});
const grpcObject = grpc.loadPackageDefinition(packageDef);
const todoPackage = grpcObject.todoPackage;

nodejs rpc 文档

  • protoLoader 加载 todo.proto 文件返回一个 packageDef(对象),loadSync 可以自定义加载选项,这里我们只用默认选项所以只传入空对象
  • 通过调用 grpc 的 loadPackageDefinition 将加载 proto 文件输出 grpc 库


创建 gRPC 服务端


const server = new grpc.Server();
server.bind("0.0.0.0:40000",grpc.ServerCredentials.createInsecure());
server.addService(todoPackage.Todo.service,{
    "createTodo":createTodo,
    "readTodos":readTodos,
    "readTodosStream":readTodosStream
});
server.start();

我们之前提价在 proto 中定义接口,也就是一种协议,这些接口方法实现还需要我们语言进行实现。

  • 创建服务const server = new grpc.Server();
  • 将服务绑定到 localhost 的 40000 端口上,因为 gRPC 背后是 http2 协议,所以需要提供ServerCredentials.createInsecure()


const todos = []

function createTodo(call,callback){
    console.log(call);
}

在 createTodo 方法两个参数,call 是客户端调用 createtodo 传入对象这是一个结构体,我们暂时只是对其打印输出,通过 callback 可以从服务端向客户端传输数据。


创建 gRPC 客户端

首先是引入依赖这个服务端一样,复制代码即可


const grpc = require("grpc");

const protoLoader = require("@grpc/proto-loader")

//
const packageDef = protoLoader.loadSync("todo.proto",{});
const grpcObject = grpc.loadPackageDefinition(packageDef);
const todoPackage = grpcObject.todoPackage;


const client = new todoPackage.Todo("localhost:40000",
    grpc.credentials.createInsecure());

定义请求指定地址的服务端的客户端


client.createTodo({
    "id":-1,
    "text":"hello"
},(err,response) => {
    console.log("Recieved from server " + JSON.stringify(response))
})

客户端发起请求传输数据给服务端,createTodo 第一个参数消息结构体,第二个参数是一个回调在 response 可以接受服务端返回数据

下面为服务端输出 call 结构体,request 字段对象为客户端请求服务端输入的数据


ServerUnaryCall {
  domain: null,
  _events: { error: [Function] },
  _eventsCount: 1,
  _maxListeners: undefined,
  call: Call {},
  cancelled: false,
  metadata: Metadata { _internal_repr: { 'user-agent': [Array] }, flags: 0 },
  request: { id: -1, text: 'test' } }

在服务端定义 todos 数据用于模拟 todo 的存储


const todos = []

对 createTodo 进行调整,将从客户端传入数据进行保存后,并将新增的 todo 对象返回给客户端。


function createTodo(call,callback){
    const todoItem = {
        "id":todos.length + 1,
        "text":call.request.text
    }
    todos.push(todoItem)
    // console.log(call);
    callback(null,todoItem);
}

运行程序后我们可以客户端看到从服务端返回的数据


Recieved from server {"id":3,"text":"test"}


const text = process.argv[2]

client.createTodo({
    "id":-1,
    "text":text
},(err,response) => {
    console.log("Recieved from server " + JSON.stringify(response))
})


服务端以流形式传输数据给客户端


service Todo{
    rpc createTodo(TodoItem) returns (TodoItem);
    rpc readTodos(voidNoParam) returns (TodoItems);
    rpc readTodosStream(voidNoParam) returns (stream TodoItem);
    
}


服务端实现 readTodosStream


function readTodosStream(call,callback){
    todos.forEach( t => call.write(t));
    call.end();
}


客户端实现 readTodosStream


const call = client.readTodosStream();
call.on("data",item => {
    console.log("received item form server " + JSON.stringify(item))
})

call.on("end",e => console.log("server done!"))


received item form server {"id":1,"text":"hello"}
received item form server {"id":2,"text":"hello"}
Recieved from server {"items":[{"id":1,"text":"hello"},{"id":2,"text":"hello"},{"id":3,"text":"world"}]}
Recieved from server {"id":4,"text":"zidea"}
received item form server {"id":3,"text":"world"}
server done!

相关推荐

十分钟让你学会LNMP架构负载均衡(impala负载均衡)

业务架构、应用架构、数据架构和技术架构一、几个基本概念1、pv值pv值(pageviews):页面的浏览量概念:一个网站的所有页面,在一天内,被浏览的总次数。(大型网站通常是上千万的级别)2、u...

AGV仓储机器人调度系统架构(agv物流机器人)

系统架构层次划分采用分层模块化设计,分为以下五层:1.1用户接口层功能:提供人机交互界面(Web/桌面端),支持任务下发、实时监控、数据可视化和报警管理。模块:任务管理面板:接收订单(如拣货、...

远程热部署在美团的落地实践(远程热点是什么意思)

Sonic是美团内部研发设计的一款用于热部署的IDEA插件,本文其实现原理及落地的一些技术细节。在阅读本文之前,建议大家先熟悉一下Spring源码、SpringMVC源码、SpringBoot...

springboot搭建xxl-job(分布式任务调度系统)

一、部署xxl-job服务端下载xxl-job源码:https://gitee.com/xuxueli0323/xxl-job二、导入项目、创建xxl_job数据库、修改配置文件为自己的数据库三、启动...

大模型:使用vLLM和Ray分布式部署推理应用

一、vLLM:面向大模型的高效推理框架1.核心特点专为推理优化:专注于大模型(如GPT-3、LLaMA)的高吞吐量、低延迟推理。关键技术:PagedAttention:类似操作系统内存分页管理,将K...

国产开源之光【分布式工作流调度系统】:DolphinScheduler

DolphinScheduler是一个开源的分布式工作流调度系统,旨在帮助用户以可靠、高效和可扩展的方式管理和调度大规模的数据处理工作流。它支持以图形化方式定义和管理工作流,提供了丰富的调度功能和监控...

简单可靠高效的分布式任务队列系统

#记录我的2024#大家好,又见面了,我是GitHub精选君!背景介绍在系统访问量逐渐增大,高并发、分布式系统成为了企业技术架构升级的必由之路。在这样的背景下,异步任务队列扮演着至关重要的角色,...

虚拟服务器之间如何分布式运行?(虚拟服务器部署)

  在云计算和虚拟化技术快速发展的今天,传统“单机单任务”的服务器架构早已难以满足现代业务对高并发、高可用、弹性伸缩和容错容灾的严苛要求。分布式系统应运而生,并成为支撑各类互联网平台、企业信息系统和A...

一文掌握 XXL-Job 的 6 大核心组件

XXL-Job是一个分布式任务调度平台,其核心组件主要包括以下部分,各组件相互协作实现高效的任务调度与管理:1.调度注册中心(RegistryCenter)作用:负责管理调度器(Schedule...

京东大佬问我,SpringBoot中如何做延迟队列?单机与分布式如何做?

京东大佬问我,SpringBoot中如何做延迟队列?单机如何做?分布式如何做呢?并给出案例与代码分析。嗯,用户问的是在SpringBoot中如何实现延迟队列,单机和分布式环境下分别怎么做。这个问题其实...

企业级项目组件选型(一)分布式任务调度平台

官网地址:https://www.xuxueli.com/xxl-job/能力介绍架构图安全性为提升系统安全性,调度中心和执行器进行安全性校验,双方AccessToken匹配才允许通讯;调度中心和执...

python多进程的分布式任务调度应用场景及示例

多进程的分布式任务调度可以应用于以下场景:分布式爬虫:importmultiprocessingimportrequestsdefcrawl(url):response=re...

SpringBoot整合ElasticJob实现分布式任务调度

介绍ElasticJob是面向互联网生态和海量任务的分布式调度解决方案,由两个相互独立的子项目ElasticJob-Lite和ElasticJob-Cloud组成。它通过弹性调度、资源管控、...

分布式可视化 DAG 任务调度系统 Taier 的整体流程分析

Taier作为袋鼠云的开源项目之一,是一个分布式可视化的DAG任务调度系统。旨在降低ETL开发成本,提高大数据平台稳定性,让大数据开发人员可以在Taier直接进行业务逻辑的开发,而不用关...

SpringBoot任务调度:@Scheduled与TaskExecutor全面解析

一、任务调度基础概念1.1什么是任务调度任务调度是指按照预定的时间计划或特定条件自动执行任务的过程。在现代应用开发中,任务调度扮演着至关重要的角色,它使得开发者能够自动化处理周期性任务、定时任务和异...

取消回复欢迎 发表评论: