#暑期创作大赛#

Kitex[kat'eks] 字节跳动内部的 Golang 微服务 RPC 框架，具有高性能、强可扩展的特点，在字节内部已广泛使用。如今越来越多的微服务选择使用 Golang，如果对微服务性能有要求，又希望定制扩展融入自己的治理体系，Kitex 会是一个不错的选择。

框架特点

• 高性能
• 使用自研的高性能网络库 Netpoll，性能相较 go net 具有显著优势。
• 扩展性
• 提供了较多的扩展接口以及默认扩展实现，使用者也可以根据需要自行定制扩展，具体见下面的框架扩展。
• 多消息协议
• RPC 消息协议默认支持 Thrift、Kitex Protobuf、gRPC。Thrift 支持 Buffered 和 Framed 二进制协议；Kitex Protobuf 是 Kitex 自定义的 Protobuf 消息协议，协议格式类似 Thrift；gRPC 是对 gRPC 消息协议的支持，可以与 gRPC 互通。除此之外，使用者也可以扩展自己的消息协议。
• 多传输协议
• 传输协议封装消息协议进行 RPC 互通，传输协议可以额外透传元信息，用于服务治理，Kitex 支持的传输协议有 TTHeader、HTTP2。TTHeader 可以和 Thrift、Kitex Protobuf 结合使用；HTTP2 目前主要是结合 gRPC 协议使用，后续也会支持 Thrift。
• 多种消息类型
• 支持 PingPong、Oneway、双向 Streaming。其中 Oneway 目前只对 Thrift 协议支持，双向 Streaming 只对 gRPC 支持，后续会考虑支持 Thrift 的双向 Streaming。
• 服务治理
• 支持服务注册/发现、负载均衡、熔断、限流、重试、监控、链路跟踪、日志、诊断等服务治理模块，大部分均已提供默认扩展，使用者可选择集成。
• 代码生成
• Kitex 内置代码生成工具，可支持生成 Thrift、Protobuf 以及脚手架代码。

详细文档

• 快速开始
• 用户指南
• 基本特性
• 包含消息类型、编解码协议、直连访问、连接池、超时控制、请求重试、负载均衡、熔断、埋点粒度控制、日志以及 HttpResolver，详见文档。
• 治理特性
• 支持服务发现、监控、链路跟踪、自定义访问控制等治理特性，详见文档。
• 高级特性
• 支持泛化调用、Server SDK 化等高级特性，详见文档。
• 代码生成
• 提供代码生成工具与 Combine Service 说明，详见文档。
• 框架扩展
• 提供基本扩展 - 自定义 Middleware、Suite 扩展（封装自定义治理模块）、服务注册扩展、服务发现扩展、负载均衡扩展、监控扩展、日志扩展、编解码(协议)扩展、传输模块扩展、Transport Pipeline-Bound 扩展、元信息传递扩展、诊断模块扩展等支持，详见文档。
• 参考
• 关于应用层传输协议 TTHeader、异常说明与版本管理，请参考文档。
• FAQ
• 请参考 FAQ。

框架性能

性能测试只能提供相对参考，工业场景下，有诸多因素可以影响实际的性能表现。

我们提供了 kitex-benchmark 项目用来长期追踪和比较 Kitex 与其他框架在不同情况下的性能数据以供参考。

相关项目

• Netpoll：自研的高性能网络库，Kitex 默认集成的。
• kitex-contrib：Kitex 的部分扩展库，使用者可以根据需求通过 Option 集成进 Kitex 中。
• Example：Kitex 的使用示例。

kitex-benchmark

本项目展示了 kitex 的几种简单用法, 并提供了若干对比项目。

由于不同框架使用的 协议、传输模式等 存在差异，不能强行拉齐。kitex 给出了几种简单的组合，可供参考。

1. kitex:多消息协议：Thrift(推荐)、KitexProtobuf（自定义 Protobuf 消息协议）、GRPC（与 gRPC 官方对齐，为方便区分作为消息协议概念）多传输模式：长连接池(推荐)、连接多路复用(mux)
2. 对比项目:thrift 方向，暂时没有找到较为流行的对比框架，后续可以添加。protobuf 方向，提供了 grpc、rpcx 作为对比项目(均使用连接多路复用)，但注意消息协议存在差异。

使用说明

同机压测

执行前请先确认满足环境要求。

Thrift

./scripts/benchmark_thrift.sh

Protobuf

./scripts/benchmark_pb.sh

GRPC

./scripts/benchmark_grpc.sh

跨机压测

同机回环压测时数据并未真正进入网卡，未能真实模拟线上服务情况。所以也提供了 Client 与 Server 分别部署执行的方式。

但是需要注意的是，如果执行机器上拥有超过 taskset 设置的核心，网络包会通过 softirq 借道其他未被 taskset 控制的 ksoftirqd 内核线程，进而享受了其他 CPU 的计算。所以需要严格的压测数据时，推荐使用和 taskset 一致的机器配置，或是删除 taskset。

Thrift

# host A
./scripts/run_thrift_servers.sh

# host B
./scripts/run_thrift_clients.sh

Protobuf

# host A
./scripts/run_pb_servers.sh

# host B
./scripts/run_pb_clients.sh

GRPC

# host A
./scripts/run_grpc_servers.sh

# host B
./scripts/run_grpc_clients.sh

压测数据对比

压测日志与对应 csv 结果会被输出在 ./output 目录下，默认以时间命名（如果指定了 REPORT 环境变量，会以该变量命名），例如:

$ scripts/benchmark_thrift.sh
$ ls output/
2021-12-13-21-40.log # raw output log
2021-12-13-21-40.csv # processed data

$ REPORT=feat-gopool scripts/benchmark_thrift.sh
$ ls output/
feat-gopool.log # raw output log
feat-gopool.csv # processed data

计算两次压测之间的 diff，输出结果为当前的数据加上变化的百分比值:

# Usage: python3 ./scripts/reports/diff.py baseline.csv current.csv

python ./scripts/reports/diff.py output/2021-12-13-21-40.csv output/2021-12-13-21-44.csv

# output:
# [KITEX-MUX]   100            1024           275604.66(+0.4%)     1.13(+0.0%)     2.01(-0.5%)
# [KITEX]       100            1024           218999.03(-0.4%)     1.28(-3.0%)     3.73(-2.1%)

Profiling

由于默认压测参数会比较迅速完成一次压测，为了获得更长采集时间，可以手动在 ./scripts/env.sh 中调整压测参数 n 大小。

Profiling Client

go tool pprof localhost:18888/debug/pprof/{pprof_type}

Profiling Server

不同 server 的 port 映射参见相应脚本，如:

cat ./scripts/benchmark_pb.sh

# ...
repo=("grpc" "kitex" "kitex-mux" "rpcx" "arpc" "arpc-nbio")
ports=(8000 8001 8002 8003 8004 8005)

获取到对应 server 端口号后，执行：

go tool pprof localhost:{port}/debug/pprof/{pprof_type}

更多场景测试

修改 ./scripts/env.sh 文件：

# 发送压测请求数
n=5000000
# 请求体大小
body=(1024 5120)
# 并发度
concurrent=(100 200 400 600 800 1000)
# server handler sleep 时间(/ms)，默认为 0
sleep=0

环境要求

• OS: Linux默认依赖了命令 taskset, 限定 client 和 server 运行的 CPU; 如在其他系统执行, 请修改脚本。
• CPU: 推荐配置 >=20核, 最低要求 >=4核压测脚本默认需要 20核 CPU, 具体在脚本的 taskset -c ... 部分, 可以修改或删除。

参考数据

相关说明:

该压测数据是在调用端有充分机器资源压满服务端的情况下测试，更侧重于关注服务端性能。后续会提供调用端性能数据情况。

配置

• CPU: Intel(R) Xeon(R) Gold 5118 CPU @ 2.30GHz运行限定 server 4-CPUs, client 16-CPUs
• OS: Debian 5.4.56.bsk.1-amd64 x86_64 GNU/Linux
• Go: 1.17.2

数据 (echo size 1KB)

• Thrift Raw Data
• Protobuf Raw Data
• GRPC Raw Data

Thrift

Protobuf

注意：各框架使用的消息协议不同，gRPC 下面有专门的对比

GRPC

Streaming

项目地址：
https://github.com/cloudwego/kitex