对于单台 VM 承载 15M Web 服务器,这里要测的是单 VM 内用户态逻辑 Web/TCP 端点的容量,不能将其换算成 15M 个独立进程或 15M QPS;吞吐、时延和丢包必须另行验证。参考原文给出的 15M 结果,依赖于它自己的硬件、地址映射、流量模型和连接生命周期,不能直接换算成其他环境的容量承诺。
落到实现上,应先把进程和网络角色拆开。复现拓扑中的 DPDK 位于流量发生侧,AF_XDP 位于接收这些端点的 VM 一侧,而 smoltcp 负责维护用户态 TCP/IP 和 socket 状态。物理路径虽然是“DPDK 发包—网络—AF_XDP 收包—smoltcp 处理”,但 DPDK 不会把 API 对象直接交给 AF_XDP,更不是 DPDK → AF_XDP → smoltcp 这样的软件调用链。把这些角色混在一起,后面遇到 DPDK 探测失败、AF_XDP 不收包或者 HTTP 没有响应时,就很难判断问题属于哪一层。
先锁定 15M 的统计口径
“15M web servers”不是一个足够精确的容量单位。复现报告至少要区分以下几种状态:
| 状态 | 实际含义 | 能否单独证明 15M |
|---|---|---|
| 已配置端点 | 控制面创建了 15M 个可区分的逻辑端点 | 只能证明配置规模 |
| 已监听端点 | smoltcp 中对应 socket 已进入可接受连接状态 | 仍不代表连接已经建立 |
| 已建立 TCP 连接 | 三方握手完成,连接进入 ESTABLISHED 等价状态 | 仍不代表 HTTP 成功 |
| 活跃 HTTP 会话 | 正在处理请求或保持 keep-alive 的会话 | 需要同时定义请求状态 |
| 已完成请求 | 收到完整请求并生成完整响应 | 只能说明请求吞吐,不能说明端点容量 |
因此,“配置了 15M 个端点”“同时保持 15M 条连接”和“完成 1500 万个 HTTP 请求”是三件不同的事。累计请求量再高,也不能反推同时承载了多少端点;大量空闲 keep-alive 连接也可以把并发连接数撑高,却不代表持续请求吞吐。
复现时建议先让控制面输出三类可核验数据:创建成功的端点总数、端点身份冲突数、当前 socket 状态分布。端点身份至少要能映射到唯一的本地 IP、端口和请求标识。只看进程数量、线程数量或者内存中的指针数量都不够。
参考原文的 15M 是在固定工作负载下得到的实验结果,不应被改写成“任何 VM 都能承载 15M Web 服务”。最终报告必须同时写清端点口径、连接生命周期、请求大小、并发变化方式和统计窗口。
最小实现拆成四个模块
最小实现应拆成报文 I/O、TCP/IP、HTTP 和控制面四个模块,先分别验证,再组合压测。
报文 I/O 适配层负责把网卡收到的 Ethernet frame 交给上层。在复现拓扑中,流量发生端由 DPDK 构造和发送报文,接收端 VM 则由 AF_XDP socket 取得原始帧,再通过适配器送入 smoltcp。DPDK 和 AF_XDP 位于不同主机或不同进程域时,中间还有真实网络、交换机和物理网卡,不存在直接共享内存或直接传递 socket 的情况。
smoltcp TCP/IP 与 socket 表负责维护接口、本地地址、路由、TCP 状态以及读写缓冲。smoltcp 官方定位是独立、事件驱动的 TCP/IP 协议栈,本身并不提供完整 Web 服务。 15M 端点需要紧凑的端点索引和 socket 表,不能为每个端点创建一个线程,也不应把每个 socket 的缓冲区都按最大 HTTP body 配置。
最小 HTTP 处理层只需要完成请求边界识别、请求 ID 到端点的映射、状态码和响应体生成。先把协议闭环做对,再讨论零拷贝、队列数或 NUMA 亲和性。
计数与控制面负责端点创建、删除、状态迁移和指标导出。它应能回答“端点是否存在”“请求是否完成”“包停在哪一层”,而不是只在业务日志里偶尔打印一个累计值。控制接口不要与普通 Web 端点混在同一个不可区分的路径上,否则测量本身会污染结果。
这四层分开后,可以用确定性的测试帧验证 smoltcp 和 HTTP 逻辑,再接入 DPDK/AF_XDP 做数据面测试。反过来,把网卡驱动、协议栈和 HTTP 一次性调通,出现问题时很难缩小范围。
三种技术不能默认串成一条链
这三个组件处于不同层次,承担不同职责:
| 组件 | 所在层次 | 复现实验中的职责 | 不应作出的推导 |
|---|---|---|---|
| smoltcp | 用户态 TCP/IP 协议栈 | 维护 TCP 状态、端口和 socket 表 | 不代表它自己会高速收包 |
| DPDK | 用户态报文 I/O 框架 | 流量发生端的高性能发包路径 | 不代表它直接给 smoltcp 投递包 |
| AF_XDP | XDP 与用户态之间的报文 socket | 接收端 VM 的原始帧 I/O 路径 | 不代表它就是 TCP socket |
XDP 位于完整内核网络协议栈之前,AF_XDP 提供用户态访问报文的路径;DPDK 则可以在用户态直接接管网卡队列,绕过常规内核协议栈。 Intel 的资料将 AF_XDP 描述为通过 socket API 向用户态开放高速报文处理,但“线速”只是能力描述,实际结果仍取决于网卡、驱动、队列、包长和 CPU 预算。 Linux 内核文档也明确区分了 native XDP、generic XDP 以及零拷贝所要求的驱动支持。
还有一个容易混淆的对象:AF_XDP socket 传输的是二层 Ethernet frame,smoltcp socket 管理的是 TCP 连接。前者是网卡 I/O 对象,后者是协议栈状态对象。一个 AF_XDP socket 可以承载许多 smoltcp socket,但两者不能一对一等同。
如果把 DPDK 改造成接收后端,或者把 AF_XDP 改成独立流量源,那是新的对照实验。可以研究,但不能把那条路径的峰值拿来替换该拓扑的结果。
先确认 VM 暴露的是哪种网卡
“单台 VM”本身不足以确定数据面能力,至少要区分以下三种后端:
| 后端 | 报文路径特征 | 对复现的影响 |
|---|---|---|
| PCI/SR-IOV VF 直通 | guest 直接控制 VF 和驱动 | 可以评估 vfio-pci、DPDK、AF_XDP,但需要 IOMMU、PF/VF 和中断配置 |
| virtio-net | 半虚拟化网卡,guest 看到虚拟队列 | 性能由 virtio 前后端共同决定,不能假定支持与物理网卡相同的 DPDK/AF_XDP 模式 |
| 云平台 vNIC | 可能经过 SDN、虚拟交换和安全服务 | 实际数据面边界由平台决定,不能任意解绑驱动或加载 XDP |
virtio-net 属于半虚拟化接口,其设计目标与传统硬件模拟不同。 云平台还可能在宿主机或 SDN 层增加流量调度、安全策略和服务链,这些都不在 guest 内部。
因此,复现前应先在宿主机和 guest 各执行:
lspci -nnk
ip -br link
ethtool -i <interface-name>
如果 guest 里出现的是 virtio 设备,就不要继续照搬物理 VF 的 vfio-pci 流程。如果使用的是云 vNIC,应先向平台确认是否支持 PCI 直通、SR-IOV、XDP 以及相应驱动,否则本文的 15M 实验不能在普通云主机上原样复现。
用 SR-IOV 把 VF 交进 VM
只有确定使用 VF 直通或 DPDK 独立数据面时,才需要走这条路径。AF_XDP 接收端通常仍需要 guest 内核网卡驱动支持 XDP,不能把同一块 VF 一边交给 vfio-pci,一边又期待 AF_XDP 通过该驱动接管。
先在宿主机确认 IOMMU 和 PCI 状态:
cat /proc/cmdline
dmesg | grep -Ei 'IOMMU|DMAR'
lspci -nnk
再确认 PF 驱动是否支持 SR-IOV,以及最大 VF 数量:
cat /sys/class/net/<pf-name>/device/sriov_totalvfs
cat /sys/class/net/<pf-name>/device/sriov_numvfs
动态创建 VF 时,优先按目标网卡驱动文档使用 sriov_numvfs:
printf '%s\n' <vf-count> | sudo tee /sys/class/net/<pf-name>/device/sriov_numvfs
历史资料使用的是 Ubuntu 14.04、ixgbe 和 ixgbe.max_vfs=4 的模块参数流程,不能直接套到 E810、E830、mlx5 或其他驱动上。 IOMMU 或 SR-IOV 参数也可能要求修改 bootloader 并重启,不能假设运行时写入就一定生效。
PF 应处于 UP 状态,VF 的 MAC 和 VF 编号也要与设计一致:
sudo ip link set dev <pf-name> up
sudo ip link set dev <pf-name> vf <vf-id> address <vf-mac>
不同 iproute2 版本也可能显示为 mac 参数,执行前应以本机 ip link help 为准。
列出 VF 与 PCI BDF 的对应关系:
ls -l /sys/class/net/<pf-name>/device/virtfn*
readlink -f /sys/class/net/<pf-name>/device/virtfn<vf-id>/device
解绑前先保存原驱动:
readlink -f /sys/bus/pci/devices/<vf-pci-bdf>/driver
再将 VF 从原内核驱动交给 vfio-pci:
sudo modprobe vfio-pci
printf '%s\n' <vf-pci-bdf> | sudo tee /sys/bus/pci/devices/<vf-pci-bdf>/driver/unbind
printf '%s\n' vfio-pci | sudo tee /sys/bus/pci/drivers/vfio-pci/bind
这里解绑的是 VF,不是 PF。宿主机仍可管理 PF,但如果原 VF 已绑定给 guest 或其他 DPDK 进程,再解绑同一 VF 会造成设备争用。
最后通过 QEMU 将它传入 VM:
qemu-system-x86_64 -enable-kvm -cpu host -m <memory> -smp <cpus> -device vfio-pci,host=<vf-pci-bdf> -net none
-net none 只关闭 QEMU 默认网络设备,不会移除显式传入的 VF。vfio-pci 的参数和 VM 启动方式仍应以目标 QEMU 版本文档为准。
guest 启动后重新检查:
lspci -nnk
ip link show
VF 能出现在 guest 中,只能证明 PCI 直通成功。原始帧路径不依赖 guest 的 Linux IP 配置;如果设计要求 guest 拥有某个管理地址,再单独配置,不要把管理地址和 15M 端点地址混为一谈。
DPDK 探测失败时沿初始化链排查
按复现拓扑,DPDK 首先是流量发生端。它的初始化链可以拆成 PCI 可见、驱动所有权、大页、PMD、队列和 CPU 映射六层,任何一层没完成,后续的“设备找不到”都可能只是上一层的表象。
先确认 DPDK 所在环境能看到目标 BDF:
lspci -nnk -s <vf-pci-bdf>
readlink -f /sys/bus/pci/devices/<vf-pci-bdf>/driver
然后检查大页:
grep -E 'Hugepagesize|HugePages_Total|HugePages_Free' /proc/meminfo
mount | grep hugetlbfs
确认系统大页尺寸后,再使用对应路径。例如大页尺寸确实为 2048 kB 时,可以执行:
printf '%s\n' 1024 | sudo tee /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages
这里的 1024 只是配置示例,不是 15M 实验所需数量。实际需要多少应根据队列、ring 和 frame 数量计算。EAL、PMD、队列和轮询模型见目标版本的 DPDK Programmer’s Guide。
PMD 探测先看当前版本提供了哪些工具:
dpdk-pmd-info --help
dpdk-testpmd --help
再用目标 BDF 做最小探测:
dpdk-testpmd -a <vf-pci-bdf> -- -i <core-list>
dpdk-testpmd 适合确认 PCI、PMD、队列和 poll loop 是否正常,但它不是能够复现 15M HTTP 业务的流量生成器。真正的业务流量还需要按端点映射生成握手、请求和校验内容。
排查时不要只看“PMD 不支持”。还要确认:
ls -l /dev/vfio
并检查当前用户是否有访问 VF、IOMMU group 和 hugepage 的权限。VF 型号必须被当前 DPDK 版本的对应 PMD 支持;同为 Intel 网卡,PF、VF 和不同代际的驱动组合也不能互相类推。
历史文章中的 dpdk_bind_nic.py、igb_uio 和 ixgbe.max_vfs=4 是旧环境流程线索,不是新版本的标准入口。 当前项目应使用目标 DPDK 版本提供的绑定工具和 PMD 文档。
最后看队列与 CPU 映射。队列数量过多会造成 ring 和缓存占用,队列过少则无法掩盖轮询开销;RX 队列是否均匀分担流量,则要看驱动统计和实际 RSS hash 分布。不要在 PMD 尚未识别设备时就盲目增加队列。
AF_XDP 建链失败时先查支持矩阵
AF_XDP 接收端至少依赖五个条件:网卡、驱动、Linux 内核、XDP 程序和队列能力。任何一个条件不匹配,都可能出现 socket 能创建但没有帧、bind 失败、只有部分队列工作,或者 zero-copy 不可用。
在 guest 中先记录环境:
uname -r
ethtool -i <interface-name>
ip -details link show dev <interface-name>
ethtool -l <interface-name>
ip -details link 用于确认接口上是否已经挂载 XDP 程序;ethtool -l 可以帮助了解驱动暴露的通道和队列,但这些字段本身不等于完整的 AF_XDP 支持矩阵。
Intel 资料列出了 E810、E830 等 800 系列网卡和 AF_XDP 的基础关系。 这只能作为候选设备清单,不能据此认定某个具体 E810/E830 SKU、VF 模式、驱动版本和内核组合都支持相同能力。该页面本身也提示中文内容是翻译与机器翻译组合,冲突时应以英文版和对应驱动文档为准。
加载 XDP 程序时,使用目标内核和驱动官方示例提供的对象与 section:
ip link set dev <interface-name> xdp obj <xdp-object> sec <xdp-section>
AF_XDP socket 随后还要完成接口和队列绑定。绑定队列号必须落在驱动实际支持的范围内,多个 socket 的 RX/TX 队列也不能无意映射到同一队列造成争用。
Linux 内核文档区分了 native XDP 与 generic XDP,zero-copy 还依赖具体驱动、硬件队列和资源条件。 无法满足时应先验证 copy 模式,不要把 zero-copy 失败直接解释成 smoltcp 或 HTTP 有问题。AF_XDP socket 本身也不是 smoltcp socket:前者负责取得帧,后者负责解释 TCP/IP 状态。
旁路之后补上观测与安全盲区
DPDK 可以绕过内核协议栈,AF_XDP 的报文路径则发生在完整协议栈之前。 这意味着不能默认认为原有 iptables、conntrack、常规 socket 统计和访问控制规则仍然覆盖全部报文。
在隔离接口上做一次带标记的实验,比仅看命令输出更可靠。实验前后分别检查:
iptables -L -nv
conntrack -S
ss -s
conntrack 是否可用取决于宿主机配置;即使命令存在,对应规则计数没有变化也不能单独证明所有 AF_XDP 收发方向都绕过了它。应在 DPDK 发包端、AF_XDP 收包端、smoltcp 和 HTTP 层分别放置计数器,比较同一个请求或报文在哪一层首次消失。
还要注意 ss、netstat 不会列出 smoltcp 内部维护的 TCP socket。内核 socket 数量不增长,不代表接收端没有 15M 条用户态连接。15M 端点的真实状态只能从应用控制面查询。
安全策略同样要重新确认。宿主机 PF 上的 ACL 不会自动变成 DPDK 流量发生端的 ACL,AF_XDP 接收端也不能默认继承普通内核 socket 的策略。限速、包过滤、连接数限制和异常流量丢弃,需要明确放在 XDP、DPDK、应用还是外部网络层,并分别验证。
15M 端点必须有可核验身份
端点身份必须在创建 TCP 状态之前确定。一个可核验的映射至少包含:
endpoint_id -> local_ip, local_port, listener_socket, http_template
如果同一 IP 上用不同端口区分端点,TCP 端口只有 16 位。除保留端口外,一个地址最多只有 65,535 个可区分端口;若坚持“一个 IP/端口对应一个端点”,15M 端点至少需要 229 个 IP 地址。这个数字只是组合空间下界,不代表路由、ARP、源地址和交换机配置已经可行。
另一种设计是多个端点共用同一 IP 和端口,以 HTTP Host 或路径区分。这时准确名称应是“15M 条 HTTP 路由”或“15M 个逻辑服务”,不能直接说存在 15M 个独立监听 socket。
地址规划要同时检查:
ip -br address
ip route get <client-ip>
ip neigh show dev <interface-name>
如果接收栈完全运行在用户态,Linux 的 route 和 neighbour 表不一定反映真实数据面,控制面必须显式维护等价规则。
流量源也要规划源地址和源端口。DPDK 绕过内核协议栈,不会自动遵守 Linux 的临时端口范围:
cat /proc/sys/net/ipv4/ip_local_port_range
如果使用普通内核客户端产生少量验证流量,这个范围才有意义。15M 源端点实验通常需要专门设计源 IP/端口池,并检查源地址是否与目的地址、宿主机管理网或 VM 地址冲突。
请求标识到端点的映射也不能依赖有碰撞的普通哈希。应保存唯一键,或者在哈希表之外保留冲突检测计数。采用独立 IP/端口映射时,端点创建接口应拒绝重复的本地 IP/端口组合,并允许控制面查出冲突对象。
先跑通一条 HTTP 请求闭环
先从独立客户端发少量真实请求,不要一开始就跑 15M 并发。客户端必须能够路由到选定的端点地址,并且请求中带有可核验的 endpoint ID:
curl --http1.1 --max-time 5 -sS -D /tmp/tkmiss-headers -H 'X-Endpoint-ID: 12345' http://<endpoint-ip>:<endpoint-port>/endpoint/12345 -o /tmp/tkmiss-body
检查响应头、长度和校验值:
cat /tmp/tkmiss-headers
wc -c /tmp/tkmiss-body
sha256sum /tmp/tkmiss-body
期望值应来自控制面或端点配置,不能凭 HTTP 状态码猜测。随后分别验证 keep-alive 和主动关闭连接:
curl --http1.1 -H 'Connection: close' http://<endpoint-ip>:<endpoint-port>/endpoint/12345 -o /dev/null
一次闭环至少要核对请求 ID 是否映射到正确端点、状态码是否正确、响应长度是否一致、内容校验值是否匹配,以及连接最终是保持还是关闭。还要同时查看 DPDK 发送计数、AF_XDP 接收计数、smoltcp TCP 状态计数和 HTTP 完成计数。
只看到三次握手成功,不能证明 Web 服务成功。常见情况是 TCP 状态已经建立,但请求解析、路由或响应生成没有完成,这时继续调网卡参数没有意义。
容量与速度用两张表报告
第一张表只回答“到底有多少端点和连接”:
| 项目 | 统一定义 | 本次结果 |
|---|---|---|
| 配置端点数 | 控制面成功创建的唯一 endpoint ID | 待填 |
| 端点身份校验 | IP/端口重复数、请求映射冲突数 | 待填 |
| 峰值稳定连接数 | 在预先声明的观察窗口内保持的连接数 | 待填 |
| 活跃 HTTP 会话数 | 正在处理或保持 keep-alive 的会话 | 待填 |
| 成功响应端点数 | 至少完成一次正确 HTTP 响应的端点 | 待填 |
第二张表回答“速度有多快”:
| 指标 | 统一定义 | 本次结果 |
|---|---|---|
| 新建连接率 | 成功建立连接数除以统计时间 | 待填 |
| 请求完成率 | 成功生成完整响应的请求数除以统计时间 | 待填 |
| 有效吞吐 | 有效响应字节数除以统计时间 | 待填 |
| p50/p99 时延 | 从请求到完整响应,按成功请求统计 | 待填 |
| 丢包 | 网卡、队列或协议层明确记录的丢包 | 待填 |
| 重传 | TCP 栈记录的 retransmit | 待填 |
| CPU | 流量发生端和接收端分别记录 | 待填 |
| 内存 | 常驻内存、峰值内存及端点增量 | 待填 |
“最大稳定并发”要在实验前定义观察窗口和稳定条件,例如队列不再持续增长、错误率没有继续恶化、内存没有持续攀升。它不能只是某一瞬间连接数达到过峰值。其他方案报告的 15 Mpps、5 微秒或类似指标不能移植到这张表中。
出现丢包或超时就找第一处丢失
沿下面的路径逐级对账:
流量源应用
-> 流量源网卡
-> 交换机与物理链路
-> PF
-> VF
-> guest NIC
-> DPDK 或 AF_XDP
-> smoltcp
-> HTTP 响应
流量源和宿主机侧先看网卡统计:
ethtool -S <traffic-interface>
ip -s link show dev <traffic-interface>
PF、VF 和 guest 接口分别检查:
ethtool -S <pf-name>
ip -s link show dev <guest-interface>
内核统计可作为辅助证据:
cat /proc/net/softnet_stat
grep -E '<driver>|<queue>' /proc/interrupts
不同驱动的 ethtool -S 字段名称不同,先记录基线,再在隔离流量下比较 TX drop、RX miss、no buffer、busy poll 等对应计数。不要看到某个计数不是零就直接下结论,它也可能包含宿主机其他流量。
如果物理网卡已经丢包,应先处理队列、PCIe、NUMA 或链路问题;如果网卡收包正常而应用没有收到,继续检查 DPDK/AF_XDP 队列映射;如果 AF_XDP 已经拿到帧但 smoltcp 没有 TCP 状态,重点检查目的 IP、端口、校验和与 socket 表;如果 TCP 已经建立但 HTTP 没有响应,则应回到请求解析和端点映射。
只有部分端点超时时,优先排查地址重复、端口冲突、哈希碰撞和路由不完整。吞吐不随并发上升,可能是队列集中、CPU 已经饱和或内存带宽受限。不同轮次结果不一致,则要检查大页是否成功分配、线程绑核是否稳定、NUMA 放置、流量模式、预热时间以及残留的 XDP 程序。
硬件余量决定性能上限
内存下界不能只按 smoltcp 的 socket 结构体大小计算。应先用小规模实验测出每个端点的实际增量,包括 socket 状态、读写缓冲、HTTP 配置、索引和分配器开销,再计算:
15M 端点内存下界 = 实测单端点字节数 × 15,000,000
这个结果还没有包含大页、队列 ring、运行时和峰值余量。
CPU 核数决定轮询和协议处理能否并行;内存带宽决定大量 socket 状态和 frame buffer 的访问成本;PCIe 链路决定 VF、队列和主机内存之间的吞吐;NUMA 放置则会影响远端内存访问。虚拟化服务器选型资料也把 CPU 核心、内存带宽、PCIe 通道和网络设备列为核心资源。
E810、E830 等网卡资料中的 100GbE、200GbE 标称能力,是设备系列的能力边界,不是单 VM 在特定包长、队列数和 CPU 配置下的实际吞吐。 15M 端点的有效性能可能先被 CPU、PCIe、内存或源端流量发生器限制,而不是被标称线速限制。
尤其要分别测量 DPDK 流量发生端和 AF_XDP/smoltcp 接收端。只看接收 VM 的 CPU 很低,不能证明端点路径没有瓶颈,因为丢包可能已经在源端网卡、交换机或队列中发生。
参数调整只处理已经定位的瓶颈
RSS、IRQ 亲和、轮询线程绑核、大页和 TCP 行为调整,都应在基线结果出来后逐项进行。每轮只改一个变量,并同时记录吞吐、时延、丢包、CPU 和内存。
内核 RSS 队列分布主要针对常规内核接收路径;DPDK 和 AF_XDP 是否使用对应硬件队列、hash 表或 flow steering,要由各自驱动决定。IRQ 亲和也要先确认中断是否仍由内核处理,不能把 affinity 命令成功执行等同于数据面已经优化。
DPDK 大页数量应根据 ring 和 frame 预算确定,并与 NUMA 节点对应。CPU 绑核可以减少迁移和缓存抖动,但核数过多也可能造成每个队列负载不足。
TCP_NODELAY 是 TCP socket 行为,不是“提升所有 Web 服务器性能”的系统参数。 对使用 smoltcp 的 socket,内核的 net.ipv4.tcp_* 和 socket 缓冲参数通常不会直接控制 smoltcp 自己的 TCP 行为。是否延迟发送,应根据请求响应模式在 smoltcp 或应用层实现和验证。
可以读取现状,但不要批量套用网上所谓“高性能服务器参数”:
sysctl net.ipv4.ip_local_port_range
sysctl net.core.rmem_max
sysctl net.core.wmem_max
一键测速脚本适合隔离环境里的粗略冒烟检查,不能替代固定模型、端到端计时和容量验收。 远程下载后直接管道给 shell 的脚本还会引入供应链和系统修改风险。
失败后先恢复网卡再公布结果
实验前应准备带外或远程控制台,并保存 PF、VF 的驱动绑定、SR-IOV VF 数量、大页数量和 XDP 状态。解绑网卡可能立即中断宿主机 SSH。
停止流量进程后,先移除 guest 接口上的 XDP 程序,再停止 VM:
ip link set dev <interface-name> xdp off
对于已经交给 DPDK 的 VF,再恢复原驱动。先确认它当前仍绑定在 vfio-pci:
readlink -f /sys/bus/pci/devices/<vf-pci-bdf>/driver
然后执行:
printf '%s\n' <vf-pci-bdf> | sudo tee /sys/bus/pci/devices/<vf-pci-bdf>/driver/unbind
printf '%s\n' <original-driver> | sudo tee /sys/bus/pci/drivers/<original-driver>/bind
大页应恢复到实验前保存的数量,而不是直接清零:
printf '%s\n' <original-hugepage-count> | sudo tee /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages
只有确认该 PF 下的 VF 没有其他使用者时,才考虑重置 VF 数量:
printf '%s\n' 0 | sudo tee /sys/class/net/<pf-name>/device/sriov_numvfs
最终判断 15M 是否成立,依据三项:真实 HTTP 请求已经完成闭环,固定工作负载下没有未解释的丢包,并且记录了最大稳定端点数。失败结果同样要保留端点映射、计数器和驱动统计。清理完成后,还要核验 readlink -f /sys/bus/pci/devices/<vf-pci-bdf>/driver 再次指向实验前保存的原驱动,同时 ip -details link show dev <interface-name> 不再列出残留的 XDP 程序。












暂无评论内容