什么是NUMA

早期的服务器硬件架构，多核CPU 常用的是SMP（Symmetrical Multi-Processing，对称多处理）架构。

SMP架构的特点

• 多个CPU之间是平等的，无主从关系。
• 多个CPU平等的访问系统内存，也就是说，内存是统一结构、统一寻址（UMA，Uniform Memory Architecture）的。
• CPU之间的访问必须经过系统总线。

SMP架构最大的问题是CPU和内存之间的通信延迟较大、通信带宽受限于系统总线带宽，系统总线带宽成为整个系统性能的瓶颈，NUMA（Non-Uniform Memory Access，非一致性内存访问）架构就是在这种应用背景下出现的

NUMA起源于AMD公司的Opteron微架构，同时被Intel Nehalem采用，Intel Xeon E5500以上的CPU和桌面的i3、i5、i7等系列都采用此架构，可以说，NUMA是AMD公司继AMD64之后，对CPU体系架构的又一项重大技术改进。

NUMA体系架构的思想是将固定大小的内存分配给一个指定的CPU序列，形成一个节点（Node），每个CPU都可以访问节点内的内存资源（本地资源），也可以访问其它节点的内存资源（远端资源），访问本地内存资源可以比访问远端内存资源获得更小的延迟和更大的带宽，这也是“非一致性内存访问体系架构”的名称由来

在虚拟化方案设计当中， NUMA功能将虚拟机的CPU和内存资源优先分配到同一个节点上，当本地节点内存不足时，再到另外的节点申请内存，结合虚拟CPU与物理CPU的绑定功能，可以将虚拟机的vCPU调度限制在同一个节点的物理CPU上，防止跨物理CPU调度vCPU时间片时的开销

经过测试发现，无论是内存随机访问，还是内存顺序访问，虚拟机在配置NUMA绑定之后，内存延迟性能约有10%左右的提升

以下介绍一些NUMA常用的运维指令，配置思路

1、查看NUMA 策略： numactl --show

root@HB-002 ~# numactl --show
policy: default
preferred node: current
physcpubind: 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47
cpubind: 0 1
nodebind: 0 1
membind: 0 1

2、查看MUMA 缓存命中率

root@HB1-TJ002 ~# numastat
node0 node1
numa_hit 127115988154 130329743995
numa_miss 350655653 734201762
numa_foreign 734201762 350655653
interleave_hit 45050 44656
local_node 127106965377 130324772854
other_node 359678430 739172903

说明：

• numa_hit —命中的，也就是为这个节点成功分配本地内存访问的内存大小
• numa_miss —把内存访问分配到另一个node节点的内存大小，这个值和另一个node的numa_foreign相对应。
• numa_foreign –另一个Node访问我的内存大小，与对方node的numa_miss相对应
• local_node ----这个节点的进程成功在这个节点上分配内存访问的大小
• other_node ----这个节点的进程 在其它节点上分配的内存访问大小

我们一般关注 miss值和foreign值，这两个值越高，此时就要考虑绑定的问题

3、查看cpu和内存使用情况

oot@HB100CVK-002 ~# numactl --hardware
available: 2 nodes (0-1)
node 0 cpus: 0 1 2 3 4 5 6 7 8 9 10 11 24 25 26 27 28 29 30 31 32 33 34 35
node 0 size: 257193 MB
node 0 free: 248891 MB
node 1 cpus: 12 13 14 15 16 17 18 19 20 21 22 23 36 37 38 39 40 41 42 43 44 45 46 47
node 1 size: 258018 MB
node 1 free: 120450 MB
node distances:
node 0 1
0: 10 21
1: 21 10

cpu0 可用 内存 248891 MB

cpu 0号节点 core: 有 0 1 2 3 4 5 6 7 8 9 10 11 24 25 26 27 28 29 30 31 32 33 34 35

cpu1 可用内存 120450 MB

node distances 是一个二维矩阵

node[i][j] 表示 node i 访问 node j 的内存的相对距离。比如 node 0 访问 node 0 的内存的距离是 10，而 node 0 访问 node 1 的内存的距离是 21

4、NUMA的内存分配策略

1.缺省(default)：总是在本地节点分配（分配在当前进程运行的节点上）；

2.绑定(bind)：强制分配到指定节点上；

3.交叉(interleave)：在所有节点或者指定的节点上交织分配；

4.优先(preferred)：在指定节点上分配，失败则在其他节点上分配。

因为NUMA默认的内存分配策略是优先在进程所在CPU的本地内存中分配，会导致CPU节点之间内存分配不均衡，当某个CPU节点的内存不足时，会导致swap产生，而不是从远程节点分配内存。这就是所谓的swap insanity 现象

5、MUNA的绑定策略

cpunodebind：将进程绑定到某几个NUMA节点上；

physcpubind：将进程绑定到某几个物理 CPU 上；

通过numactl 去绑定进程在固定cpu节点运行

numactl --cpubind=0 --membind=0 python param // 将进程名为 ' python param ' 的进程绑定到CPU 0 节点上 ，cpunodebind绑定策略
numactl --physcpubind=0,3 --localalloc mysqld_multi --defaults-extra-file=/etc/mysqld_multi.cnf start 1 // 将 mysqld_multi 进程绑定到 cpu 0 3 物理核上 ， physcpubind

• physcpubind 指定绑定的cpu节点，
• localalloc表示使用内存方式，不交叉，以免降低性能，
• mysqld_multi是mysql实例启动命令
• --cpubind=0： 绑定到 node 0 的 CPU 上执行
• --membind=1： 只在 node 1 上分配内存

6. 以下这几条命令，大家也理解记录下

# 轮询分配内存

numactl --interleave=all test_program arguments // test_program arguments指的进程名，

# 优先考虑从 node 1 上分配内存

numactl --preferred=1

• --interleave=nodes：nodes 可以是 all、N,N,N 或 N-N，表示在 nodes 上轮循（round robin）分配内存
• --physcpubind=cpus：cpus 是 /proc/cpuinfo 中的 processor（超线程） 字段，cpus 的格式与 --interleave=nodes 一样，表示绑定到 cpus 上运行

7、关于内存分配不均的场景和内存回收场景，常用于数据库调优场景

我们在运维过程中应该会遇到这种现场，服务器free命令看有很多内存没有用但是开始消耗使用swap内存了， 这个可能就是numa的限制及swap的一些坑 ： 如果一个进程限制它只能使用自己的numa节点的内存，那么当自身numa node内存使用光之后，就不会去使用其他numa node的内存了，会开始使用swap，

最后 ： MUMA是一把双刃剑 ， 在业务调优过程中应该灵活应用

• 如果你的程序是占用大规模内存的，这种情况应该关闭numa node 的限制
• 如果你的程序是cpu密集访问类型，要求是更快的运行时间，这种情况下限制访问本地numa node 方法来处理更好