Session Log — task-qwen3-optimize-46278 — Qwen3-Embedding-0.6B 优化调研与测试

时间： 2026-02-27 模式： research+实测

任务目标

在 RS1000（AMD EPYC 9634，84核，AVX-512+BF16）上测试 Qwen3-Embedding-0.6B 各优化方案
Baseline: 吞吐量 15.7条/秒，RSS 1972MB，P95延迟 784ms，中位延迟 59ms

去重检查

已有报告 leb-cpu-embedding-acceleration.md 针对 Intel Xeon E3-1270 v6（AVX2，无AVX-512），
本任务硬件为 AMD EPYC 9634（AVX-512+BF16），需要独立调研测试。

调研结论与测试方案设计

环境确认

• fastembed 0.7.4, onnxruntime 1.24.2, torch 2.10.0+cu128, sentence_transformers 5.2.3
• AVX-512 + BF16 硬件支持已确认
• 默认线程数 4（严重低估，84核下需调优）
• Qwen3-Embedding-0.6B 已缓存在 HF cache

测试方案（按预期收益排序）

• 方案A: OMP_NUM_THREADS 线程调优（4→16→32→64），batch=32
• 方案B: batch_size 优化（最优线程下，8/16/32/64/128）
• 方案C: PyTorch BF16 精度推理（EPYC硬件原生BF16加速）
• 方案D: fastembed ONNX backend（TextEmbedding ONNX 模式）
• 方案E: ONNX Runtime 动态 INT8 量化（optimum dynamic quantization）

测试执行记录

方案A+B 线程+batch_size 扫描（后台运行中）

• 启动时间: 2026-02-27 13:33
• 脚本: /tmp/bench_threads_batch.py
• 语料: 500条

方案A+B 实测结果（2026-02-27）

方案A：线程数扫描（batch=32，200条语料）

关键发现：线程越多越慢！ threads=4 最优（12.6条/秒），threads=84 最差（9.4条/秒）。
原因：84核 EPYC 分 2 NUMA node，大量线程导致跨 NUMA 内存访问 + cache 竞争。

方案B：batch_size 扫描（threads=4，200条语料）

最优：batch_size=8，17.3条/秒（比 Baseline 15.7 提升 10.2%）
批次越小反而越快，说明模型在 CPU 上受限于计算而非 IO，小 batch 减少内存复制。

方案C 实测结果（BF16）

测试条件：threads=4，batch=8，500条语料（sentence_transformers）

结论：BF16 对吞吐量无提升，内存反增 ~1GB。
原因：sentence_transformers 内部已做 FP32 cast，BF16 权重在推理时被提升回 FP32，硬件 BF16 加速未生效。
向量一致性：FP32 vs BF16 余弦 mean=1.0000，min=0.9936（质量无损）。

方案D 实测结果（fastembed ONNX）

结论：fastembed 0.7.4 不支持 Qwen3-Embedding，跳过。

方案E 实测结果（ONNX Runtime INT8）

⚠️ 注意：optimum 导出的 model.onnx 仅 2MB（异常，正常应为 ~1.2GB），
说明只导出了 embedding 层而非完整 transformer 模型，ONNX 推理结果不可信。

需要重新用正确方式导出完整 ONNX 模型后再测。

方案E 实测结果（ONNX Runtime INT8）— 修正版

ONNX 模型：optimum 导出，model.onnx(1.5MB) + model.onnx_data(2273MB)，输出：token_embeddings + sentence_embedding

结论：ONNX 路径在 RS1000 上比 sentence_transformers 慢。
ONNX FP32 仅 5.9条/秒（sentence_transformers FP32 18.3条/秒），差距 3x。
ONNX INT8 13.3条/秒，仍低于 Baseline 15.7条/秒。
原因：ONNX Runtime 1.24.2 在 AMD EPYC 上未充分利用 AVX-512，sentence_transformers 通过 PyTorch 2.10 的 AVX-512 优化路径更高效。

NUMA 架构确认

RS1000 实际只有 1 个 NUMA node（4核可见），非预期的 84核双 NUMA 架构。
说明 RS1000 是虚拟机/容器，仅分配了 4 个 vCPU，这解释了为何 threads=4 最优。

最终基准测试（最优组合 vs Baseline）

最优组合：threads=4，batch_size=8，FP32，sentence_transformers

总结与推荐

✅ 推荐优化（立即可用）

batch_size=8，threads=4，FP32，sentence_transformers
- 吞吐量提升约 10%（15.7 → 17.3 条/秒）
- 内存持平，无额外依赖，一行参数修改

❌ 不推荐方案

部署建议

model.encode(texts, batch_size=8, show_progress_bar=False)
# threads 保持默认 4，不需要额外设置

（报告由爱衣补全，Ai.Res session 因 process poll 卡死未能完成通知）