百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

gRPC-go框架中dns解析器的介绍以及实战测试

ccwgpt 2024-10-13 01:32 129 浏览 0 评论

本篇文章主要是分析一下dnsResolver类型的解析器的核心原理;并且进行实际测试;最后分析一下,当dnsResolver解析失败时,实现重试机制的原理;

1、dnsResolver解析器原理介绍

dns解析器的原理,其实底层调用的是golang自带net包中的LookupHost、LookupSRV、LookupTXT三个函数来实现解析的。通过这三个函数远程去访问dns服务器,最终将用户设置的链接地址转换成后端服务器地址列表。

直接进入grpc-go/internal/resolver/dns/dns_resolver.go中的Build方法:

1.// Build creates and starts a DNS resolver that watches the name resolution of the target.
2.// resolver_conn_wrapper.go 文件里的newCCResolverWrapper方法里调用
3.func (b *dnsBuilder) Build(target resolver.Target, cc resolver.ClientConn, opts resolver.BuildOptions) (resolver.Resolver, error) {
4.   host, port, err := parseTarget(target.Endpoint, defaultPort)
5.   if err != nil {
6.      return nil, err
7.   }

8.   // IP address.
9.   if ipAddr, ok := formatIP(host); ok {
10.      addr := []resolver.Address{{Addr: ipAddr + ":" + port}}
11.      cc.UpdateState(resolver.State{Addresses: addr})
12.      return deadResolver{}, nil
13.   }

14.   // DNS address (non-IP).
15.   ctx, cancel := context.WithCancel(context.Background())
16.   d := &dnsResolver{
17.      host:                 host,
18.      port:                 port,
19.      ctx:                  ctx,
20.      cancel:               cancel,
21.      cc:                   cc,
22.      rn:                   make(chan struct{}, 1),
23.      disableServiceConfig: opts.DisableServiceConfig,
24.   }

25.   if target.Authority == "" {
26.      d.resolver = defaultResolver
27.   } else {
28.      d.resolver, err = customAuthorityResolver(target.Authority)
29.      if err != nil {
30.         return nil, err
31.      }
32.   }

33.   d.wg.Add(1)
34.   go d.watcher()
35.   d.ResolveNow(resolver.ResolveNowOptions{})
36.   return d, nil
37.}

主要代码说明:

  • 第4行:主要是对用户输入的target.Endpoint进行解析,如localhost:50051,sayHello:50051;
  • 第8-13行:如果用户输入的是具体的IP(如192.168.43.214),而不是域名的话,就直接更新cc的状态,最终实现向grpc服务器端发起连接
  • 第16-24行:构建dnsResolver构建结构体
  • 第25-32行:核心目的就是初始化dnsResolver结构体中的resolver,类型是netResolver接口
  • 第34行:启动一个协程,监听;去向dns服务器发起请求,获取注册到dns服务器上的后端服务器地址列表
  • 第35行:调用解析器的ResolveNow方法;

进入ResolveNow方法内部看看:

func (d *dnsResolver) ResolveNow(resolver.ResolveNowOptions) {
   select {
   case d.rn <- struct{}{}:
   default:
   }
}

使用了多路复用器,这里执行的是case分支;如果case不满足的情况下,会执行default。要结合第34行watcher方法里的第7行一起看。
从ResolveNow方法的名称,可以看出来,就是开始解析的意思;其实就是告诉wacther方法里第7行的通道d.rn发送信号,目的解除阻塞,继续执行下面的代码。
点击第34行,进入watcher方法里:

1.func (d *dnsResolver) watcher() {
2.   defer d.wg.Done()
3.   for {
4.      select {
5.      case <-d.ctx.Done():
6.         return
7.      case <-d.rn:
8.      }

9.      state, err := d.lookup()
10.      if err != nil {
11.         d.cc.ReportError(err)
12.      } else {
13.         d.cc.UpdateState(*state)
14.      }

15.      // Sleep to prevent excessive re-resolutions. Incoming resolution requests
16.      // will be queued in d.rn.
17.      t := time.NewTimer(minDNSResRate)
18.      select {
19.      case <-t.C:
20.      case <-d.ctx.Done():
21.           t.Stop()
22.           return
23.      }
24.   }
25.}

watcher方法的核心目的
??调用第9行实现dns解析,获得后端grpc服务器地址,传递给第13行,从而实现grpc客户端向grpc服务器端发起连接请求。
主要代码说明:

  • 第4-8行:是一个select实现的多路复用器;有什么作用呢?
    • 提供退出for循环的出口
    • d.ctx.Done(),如果给解析器的上下文发送结束信号,这里就可以退出for循环了;
    • 第7行:d.rn通道处于阻塞的情况时,阻止程序继续往下执行,可以防止多次dns解析ResolveNow方法里的语句case d.rn <- struct{}{}:可以解除阻塞。
  • 第9行: 调用lookup实现dns地址解析;内部调用的是golang原生自带的net包中的lookupSRV、lookupHost、lookupTXT方法,对三个方法获得的结果转换成grpc框架中的resolver.State结构体即可。这就是dns解析器最核心的原理,最终将用户输入的地址target转换成了grpc服务器地址;
  • 第13行:更新State,最终实现的是向grpc服务器端发起链接请求
  • 第17-23行:使用timer+select实现一个定时器。minDNSResRate的值就是30秒;如果定时器结束时就会执行第19行,如果解析器结束时就会执行第20行。这个定时器有什么目的呢?
    • 如果dns解析失败了的话,防止频繁的解析
    • 解析器结束时,退出for循环

??这个方法使用了for循环,两个select,目的应该是在dns解析失败的情况下,可以提供重试机制;并不是所有的解析器都有重试机制,比方说passthrough解析器里就没有。
??这里为什么会有重试机制呢?
??可能是dns解析器拿到的地址是域名,并不是后端提供服务的地址,需要向dns服务器发起请求来获得;(这里仅仅是一个猜测,或者不同的解析器可以根据实际情况来考虑要不要提供)

2、dnsResolver实际测试

2.1、测试环境说明

我这里的测试环境是在Mac物理机上启动了grpc客户端,grpc服务器端,启动虚拟机;其中虚拟机里安装了centos系统,在centos系统里以容器的方式启动了coredns服务器。具体看下图所示:

如果想了解更多,可以参考下面链接

相关推荐

十分钟让你学会LNMP架构负载均衡(impala负载均衡)

业务架构、应用架构、数据架构和技术架构一、几个基本概念1、pv值pv值(pageviews):页面的浏览量概念:一个网站的所有页面,在一天内,被浏览的总次数。(大型网站通常是上千万的级别)2、u...

AGV仓储机器人调度系统架构(agv物流机器人)

系统架构层次划分采用分层模块化设计,分为以下五层:1.1用户接口层功能:提供人机交互界面(Web/桌面端),支持任务下发、实时监控、数据可视化和报警管理。模块:任务管理面板:接收订单(如拣货、...

远程热部署在美团的落地实践(远程热点是什么意思)

Sonic是美团内部研发设计的一款用于热部署的IDEA插件,本文其实现原理及落地的一些技术细节。在阅读本文之前,建议大家先熟悉一下Spring源码、SpringMVC源码、SpringBoot...

springboot搭建xxl-job(分布式任务调度系统)

一、部署xxl-job服务端下载xxl-job源码:https://gitee.com/xuxueli0323/xxl-job二、导入项目、创建xxl_job数据库、修改配置文件为自己的数据库三、启动...

大模型:使用vLLM和Ray分布式部署推理应用

一、vLLM:面向大模型的高效推理框架1.核心特点专为推理优化:专注于大模型(如GPT-3、LLaMA)的高吞吐量、低延迟推理。关键技术:PagedAttention:类似操作系统内存分页管理,将K...

国产开源之光【分布式工作流调度系统】:DolphinScheduler

DolphinScheduler是一个开源的分布式工作流调度系统,旨在帮助用户以可靠、高效和可扩展的方式管理和调度大规模的数据处理工作流。它支持以图形化方式定义和管理工作流,提供了丰富的调度功能和监控...

简单可靠高效的分布式任务队列系统

#记录我的2024#大家好,又见面了,我是GitHub精选君!背景介绍在系统访问量逐渐增大,高并发、分布式系统成为了企业技术架构升级的必由之路。在这样的背景下,异步任务队列扮演着至关重要的角色,...

虚拟服务器之间如何分布式运行?(虚拟服务器部署)

  在云计算和虚拟化技术快速发展的今天,传统“单机单任务”的服务器架构早已难以满足现代业务对高并发、高可用、弹性伸缩和容错容灾的严苛要求。分布式系统应运而生,并成为支撑各类互联网平台、企业信息系统和A...

一文掌握 XXL-Job 的 6 大核心组件

XXL-Job是一个分布式任务调度平台,其核心组件主要包括以下部分,各组件相互协作实现高效的任务调度与管理:1.调度注册中心(RegistryCenter)作用:负责管理调度器(Schedule...

京东大佬问我,SpringBoot中如何做延迟队列?单机与分布式如何做?

京东大佬问我,SpringBoot中如何做延迟队列?单机如何做?分布式如何做呢?并给出案例与代码分析。嗯,用户问的是在SpringBoot中如何实现延迟队列,单机和分布式环境下分别怎么做。这个问题其实...

企业级项目组件选型(一)分布式任务调度平台

官网地址:https://www.xuxueli.com/xxl-job/能力介绍架构图安全性为提升系统安全性,调度中心和执行器进行安全性校验,双方AccessToken匹配才允许通讯;调度中心和执...

python多进程的分布式任务调度应用场景及示例

多进程的分布式任务调度可以应用于以下场景:分布式爬虫:importmultiprocessingimportrequestsdefcrawl(url):response=re...

SpringBoot整合ElasticJob实现分布式任务调度

介绍ElasticJob是面向互联网生态和海量任务的分布式调度解决方案,由两个相互独立的子项目ElasticJob-Lite和ElasticJob-Cloud组成。它通过弹性调度、资源管控、...

分布式可视化 DAG 任务调度系统 Taier 的整体流程分析

Taier作为袋鼠云的开源项目之一,是一个分布式可视化的DAG任务调度系统。旨在降低ETL开发成本,提高大数据平台稳定性,让大数据开发人员可以在Taier直接进行业务逻辑的开发,而不用关...

SpringBoot任务调度:@Scheduled与TaskExecutor全面解析

一、任务调度基础概念1.1什么是任务调度任务调度是指按照预定的时间计划或特定条件自动执行任务的过程。在现代应用开发中,任务调度扮演着至关重要的角色,它使得开发者能够自动化处理周期性任务、定时任务和异...

取消回复欢迎 发表评论: