百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

grpc实战——构建一个简单的名称解析服务

ccwgpt 2024-10-13 01:32 61 浏览 0 评论

境说明:
语言主要用java实现,ide使用的是idea,使用maven作为软件项目管理工具。

本篇主要是对grpc的一个实战过程。主要完成服务简单调用,后面的文章中我会陆续给大家分享服务器流式调用、客户端流式调用和双向流式调用。关于grpc,大家大概知道这是一个Google开源的一套rpc(远程服务调用框架)就可以了。在使用grpc的时候需要定义一个的服务,以及服务中提供的方法,当然也需要定义服务的方法中所涉及到的入参和出参。简而言之,就是在服务端会实现服务的接口,并开启grpc服务器来接收客户端的请求。客户端则在连接上服务端后,会得到一个stub。利用这个stub可以调用相应的远程服务,操作上就像调用本地服务一样,框架屏蔽了大量的底层工作,包括网络传输协议,序列化对象等,使得开发非常简单。

借用一下官方文档中的图示,大家大概就能懂整个流程了,这个图示也很好地展现了grpc语言无关的特性,服务端和客户端可以是完全不一样的两个语言(但是必须是grpc支持的语言,目前主流的语言grpc都已经提供了支持)。


第一步:创建项目

这里我们主要是创建一个多模块项目名称为grpc,然后在其中创建两个模块grpc-server和grpc-client。不会创建的童鞋,可以查看我的另外一篇文章idea创建多模块项目。创建完成后整体项目结构如图所示:

第二步:安装protobuf support插件

安装该插件后,idea则对.proto文件有了编辑支持,相对来说更友好一些。

在设置界面中,选择Plugins,然后点击Browse repositories,在弹出页面搜索框中搜索protobuf support,安装即可。

第三步:pom.xml配置

 <dependency>
 <groupId>io.grpc</groupId>
 <artifactId>grpc-netty</artifactId>
 <version>${grpc.version}</version>
 </dependency>
 <dependency>
 <groupId>io.grpc</groupId>
 <artifactId>grpc-protobuf</artifactId>
 <version>${grpc.version}</version>
 </dependency>
 <dependency>
 <groupId>io.grpc</groupId>
 <artifactId>grpc-stub</artifactId>
 <version>${grpc.version}</version>
 </dependency>

其中版本主要是这样的(版本很重要!如果出现不兼容的版本,很可能程序就跑不起来,而且比较难找错)。这里官方文档已经用上了grpc

1.13.0,然而阿里云似乎找不到,所以这里只能用1.12.0版本了。

 <properties>
 <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
 <java.version>1.8</java.version>
 <grpc.version>1.12.0</grpc.version>
 <protoc.version>3.5.1-1</protoc.version>
 </properties>

另外,还需要配置一下插件protobuf maven插件,有了这个插件之后,我们才可以用idea来编译.proto文件。否则,手工编译的方式较为麻烦。这里需要注意一点的就是protoc-gen-grpc-java的版本需要和之前grpc依赖的版本一致。

 <build>
 <extensions>
 <extension>
 <groupId>kr.motd.maven</groupId>
 <artifactId>os-maven-plugin</artifactId>
 <version>1.5.0.Final</version>
 </extension>
 </extensions>
 <plugins>
 <plugin>
 <groupId>org.xolstice.maven.plugins</groupId>
 <artifactId>protobuf-maven-plugin</artifactId>
 <version>0.5.1</version>
 <configuration>
 <protocArtifact>com.google.protobuf:protoc:${protoc.version}:exe:${os.detected.classifier}</protocArtifact>
 <pluginId>grpc-java</pluginId>
 <pluginArtifact>io.grpc:protoc-gen-grpc-java:${grpc.version}:exe:${os.detected.classifier}</pluginArtifact>
 </configuration>
 <executions>
 <execution>
 <goals>
 <goal>compile</goal>
 <goal>compile-custom</goal>
 </goals>
 </execution>
 </executions>
 </plugin>
 </plugins>
 </build>

第四步:定义服务和参数

grpc定义服务的方式主要还是通过protocal buffer的形式(这也是服务调用过程中序列化的方式),protocal buffer是另外一个Google的开源项目(这里不得不感慨一下,谷歌是真的强)。

这里我们需要在一个.proto文件中定义我们的服务以及参数,不熟悉的童鞋可以去自行了解一下具体的语法,不过直接看我的代码应该也没什么问题,毕竟语法相对还是比较好理解的。

我们首先在main目录下创建一个proto文件夹,在这个文件夹中创建我们的.proto文件,比如我们这里取名为nameService.proto,定义如下:

syntax = "proto3";
option java_multiple_files = true;
option java_package = "io.grpc.examples.nameserver";
option java_outer_classname = "NameProto";
option objc_class_prefix = "NS";

package nameserver;
// 定义服务
service NameService { 
 // 服务中的方法,用于根据Name类型的参数获得一个Ip类型的返回值
 rpc getIpByName (Name) returns (Ip) {}
}
//定义Name消息类型,其中name为其序列为1的字段
message Name { 
string name = 1;
}
//定义Ip消息类型,其中ip为其序列为1的字段
message Ip { 
string ip = 1;
}

根据注释,大家应该还是比较容易理解这个服务定义和消息定义的,值得一提的是其中的java_package的选项,这个主要是为java服务的,可以用来指定一个符合java规范的报名(因为默认报名对于java规范来说不是那么友好),这个选项只对编译成java代码有效。

第五步:编译nameService.proto

目前,我们主要将proto文件放在了grpc-server的proto目录中,项目结构如下图所示:

因为我们已经安装了编译插件,在idea中可以利用maven编译proto文件了。

可以看到编译完成后,项目结构中多了一个target目录,里面就存放着我们需要用到的java类。感兴趣的童鞋可以在实践过程中,直接去研究一下。generated-sources目录下主要存放了生成的java代码。

其中NameServiceGrpc是一个很重要的类,直接关系到我们的服务,我们自己提供的服务需要继承它的一个内部类,在客户端中则是可以从中得到一个stub用于调用。Ip类和Name类则主要是消息类型,这里主要是作为一个参数类型。

第六步:写服务端代码

服务端其实需要做两件事。

第一件,实现提供的服务,这是本职工作。

第二件,启动一个grpc服务器,用于接收客户端的请求。

那么在这里,我也把两件事分开做。

实现提供的服务

要实现提供的服务,只需要写一个类继承NameServiceGrpc.NameServiceImplBase这个类即可,然后因为我们定义的方法是getIpByName,那么我们也实现这个方法,值得一提的是,需要注意一下这个方法的参数是固定的,不能随心所欲地写。主要代码如下:

public class NameServiceImplBaseImpl extends NameServiceGrpc.NameServiceImplBase {
 private Map<String,String> map = new HashMap<String,String>(); 
 private Logger logger = Logger.getLogger(NameServiceImplBaseImpl.class.getName()); 
 public NameServiceImplBaseImpl() { 
 map.put("Sunny","125.216.242.51"); 
 map.put("David","117.226.178.139");
 }
 
 @Override 
 public void getIpByName(Name request, StreamObserver<Ip> responseObserver) {
 logger.log(Level.INFO,"requst is coming. args=" + request.getName());
 Ip ip = Ip.newBuilder().setIp(getName(request.getName())).build();
 responseObserver.onNext(ip);
 responseObserver.onCompleted();
 } 
 
 public String getName(String name){
 String ip = map.get(name); 
 if(ip == null){ 
 return "0.0.0.0";
 } 
 return ip;
 }
}

在这里,名称服务主要是存储在一个map中,想要做的更好的童鞋可以尝试放到数据库中。在构造方法中,向map中加入一些条目。在getIpByName中,onNext方法用于向客户端返回结果,而onComplete方法则用于告诉客户端,这次调用已经完成。这些都是相对固定的套路。细心的童鞋可能注意到了,我们map实际存的是String类型的值,而非Name和Ip类型的值,那么我们需要有一定的转换,实际上getName方法会返回一个String类型的ip,在getIpByName中转换为Ip类型后才进行返回。另外,需要特别说一下,大家可以去看一下proto文件编译后的源码,消息类型生成的java类中,构造方法都是私有方法,因此我们只能通过类似Ip.newBuilder().setIp(getName(request.getName())).build()的方法来构造相应的参数对象,这些类型中都有一个Builder的内部类,可以用来辅助生成这些类型的对象。

构建grpcserver类用于接收客户端的请求。代码如下:

public class NameServer { 
 private Logger logger = Logger.getLogger(NameServer.class.getName()); 
 private static final int DEFAULT_PORT = 8088; 
 private int port;//服务端口号
 private Server server; 
 
 public NameServer(int port) { 
 this(port,ServerBuilder.forPort(port));
 } 
 
 public NameServer(int port, ServerBuilder<?> serverBuilder){ 
 this.port = port;
 server = serverBuilder.addService(new NameServiceImplBaseImpl()).build();
 } 
 
 private void start() throws IOException {
 server.start();
 logger.info("Server has started, listening on " + port);
 Runtime.getRuntime().addShutdownHook(new Thread() { 
 @Override
 public void run() {
 NameServer.this.stop();
 }
 });
 } 
 
 private void stop() { 
 if(server != null)
 server.shutdown();
 } 
 
 private void blockUntilShutdown() throws InterruptedException { 
 if (server != null) {
 server.awaitTermination();
 }
 } 
 
 public static void main(String[] args) throws IOException, InterruptedException {
 NameServer nameServer; 
 if(args.length > 0){
 nameServer = new NameServer(Integer.parseInt(args[0]));
 } else {
 nameServer = new NameServer(DEFAULT_PORT);
 }
 nameServer.start();
 nameServer.blockUntilShutdown();
 }
}

其中主要是start方法用于启动服务器并接收客户端的请求。在server中添加名称解析服务服务实在构造方法中进行的。另外,blockUntilShutdown方法则会让server阻塞到程序退出为止。

第七步:写客户端代码

同样的,也和服务端一样,我们把nameService.proto文件放到proto目录下,再执行编译过程,也可以直接将grpc-server中的文件拷贝到grpc-client模块中。这里我们还是同样进行一次编译。得到grpc-client目录如下:

现在,我们可以开始写客户端代码了,主要代码如下:

public class NameClient { 
 private static final String DEFAULT_HOST = "localhost"; 
 private static final int DEFAULT_PORT = 8088; 
 private ManagedChannel managedChannel; 
 private NameServiceGrpc.NameServiceBlockingStub nameServiceBlockingStub; 
 
 public NameClient(String host, int port) { 
 this(ManagedChannelBuilder.forAddress(host,port).usePlaintext(true).build());
 } 
 
 public NameClient(ManagedChannel managedChannel) { 
 this.managedChannel = managedChannel; 
 this.nameServiceBlockingStub = NameServiceGrpc.newBlockingStub(managedChannel);
 } 
 
 public void shutdown() throws InterruptedException {
 managedChannel.shutdown().awaitTermination(5, TimeUnit.SECONDS);
 } 
 
 public String getIpByName(String n){
 Name name = Name.newBuilder().setName(n).build();
 Ip ip = nameServiceBlockingStub.getIpByName(name); 
 return ip.getIp();
 } 
 
 public static void main(String[] args) {
 NameClient nameClient = new NameClient(DEFAULT_HOST,DEFAULT_PORT); 
 for(String arg : args){
 String res = nameClient.getIpByName(arg);
 System.out.println("get result from server: " + res + " as param is " + arg);
 }
 }
}

客户端类中主要有两个成员变量,一个是channel通道,主要用于通信,另外一个则是stub存根,我们客户端需要远程调用服务,在得到stub后,只需要调用stub的相应服务即可,操作相对来说非常简单,代码中用getIpByName方法对远程服务调用进行了包装。另外,我们这里在main函数里多次调用方法,参数args中的变量。需要注意的是,这里channel要设置成明文传输,即usePlainText设置为true,否则还需要配置ssl(官方文档中没用明文传输)。

第八步:启动grpc服务器

第九步:启动客户端

args参数设置为Sunny David Tom

至此,一个简单的名称解析服务就做完了。

相关推荐

十分钟让你学会LNMP架构负载均衡(impala负载均衡)

业务架构、应用架构、数据架构和技术架构一、几个基本概念1、pv值pv值(pageviews):页面的浏览量概念:一个网站的所有页面,在一天内,被浏览的总次数。(大型网站通常是上千万的级别)2、u...

AGV仓储机器人调度系统架构(agv物流机器人)

系统架构层次划分采用分层模块化设计,分为以下五层:1.1用户接口层功能:提供人机交互界面(Web/桌面端),支持任务下发、实时监控、数据可视化和报警管理。模块:任务管理面板:接收订单(如拣货、...

远程热部署在美团的落地实践(远程热点是什么意思)

Sonic是美团内部研发设计的一款用于热部署的IDEA插件,本文其实现原理及落地的一些技术细节。在阅读本文之前,建议大家先熟悉一下Spring源码、SpringMVC源码、SpringBoot...

springboot搭建xxl-job(分布式任务调度系统)

一、部署xxl-job服务端下载xxl-job源码:https://gitee.com/xuxueli0323/xxl-job二、导入项目、创建xxl_job数据库、修改配置文件为自己的数据库三、启动...

大模型:使用vLLM和Ray分布式部署推理应用

一、vLLM:面向大模型的高效推理框架1.核心特点专为推理优化:专注于大模型(如GPT-3、LLaMA)的高吞吐量、低延迟推理。关键技术:PagedAttention:类似操作系统内存分页管理,将K...

国产开源之光【分布式工作流调度系统】:DolphinScheduler

DolphinScheduler是一个开源的分布式工作流调度系统,旨在帮助用户以可靠、高效和可扩展的方式管理和调度大规模的数据处理工作流。它支持以图形化方式定义和管理工作流,提供了丰富的调度功能和监控...

简单可靠高效的分布式任务队列系统

#记录我的2024#大家好,又见面了,我是GitHub精选君!背景介绍在系统访问量逐渐增大,高并发、分布式系统成为了企业技术架构升级的必由之路。在这样的背景下,异步任务队列扮演着至关重要的角色,...

虚拟服务器之间如何分布式运行?(虚拟服务器部署)

  在云计算和虚拟化技术快速发展的今天,传统“单机单任务”的服务器架构早已难以满足现代业务对高并发、高可用、弹性伸缩和容错容灾的严苛要求。分布式系统应运而生,并成为支撑各类互联网平台、企业信息系统和A...

一文掌握 XXL-Job 的 6 大核心组件

XXL-Job是一个分布式任务调度平台,其核心组件主要包括以下部分,各组件相互协作实现高效的任务调度与管理:1.调度注册中心(RegistryCenter)作用:负责管理调度器(Schedule...

京东大佬问我,SpringBoot中如何做延迟队列?单机与分布式如何做?

京东大佬问我,SpringBoot中如何做延迟队列?单机如何做?分布式如何做呢?并给出案例与代码分析。嗯,用户问的是在SpringBoot中如何实现延迟队列,单机和分布式环境下分别怎么做。这个问题其实...

企业级项目组件选型(一)分布式任务调度平台

官网地址:https://www.xuxueli.com/xxl-job/能力介绍架构图安全性为提升系统安全性,调度中心和执行器进行安全性校验,双方AccessToken匹配才允许通讯;调度中心和执...

python多进程的分布式任务调度应用场景及示例

多进程的分布式任务调度可以应用于以下场景:分布式爬虫:importmultiprocessingimportrequestsdefcrawl(url):response=re...

SpringBoot整合ElasticJob实现分布式任务调度

介绍ElasticJob是面向互联网生态和海量任务的分布式调度解决方案,由两个相互独立的子项目ElasticJob-Lite和ElasticJob-Cloud组成。它通过弹性调度、资源管控、...

分布式可视化 DAG 任务调度系统 Taier 的整体流程分析

Taier作为袋鼠云的开源项目之一,是一个分布式可视化的DAG任务调度系统。旨在降低ETL开发成本,提高大数据平台稳定性,让大数据开发人员可以在Taier直接进行业务逻辑的开发,而不用关...

SpringBoot任务调度:@Scheduled与TaskExecutor全面解析

一、任务调度基础概念1.1什么是任务调度任务调度是指按照预定的时间计划或特定条件自动执行任务的过程。在现代应用开发中,任务调度扮演着至关重要的角色,它使得开发者能够自动化处理周期性任务、定时任务和异...

取消回复欢迎 发表评论: