[Perf] Ship the SM70 grouped long-context route on by default

[yangzhuxinyzx]

问题 / Problem

SM70 的长文补偿 attention（E4M3 FP32 grouped）此前只以私有 DSO 形式存在，靠 VLLM_SM70_E4M3_LONG_ATTENTION_MANIFEST 指向一个外部构建的 .so 才能启用；而且图上界停在 132096，覆盖不到 262144 的服务容量。

结果是：加速路径要手工开启、要额外维护一个版本绑定的二进制产物，256K 完全用不上。#587 当初把这批优化默认关闭（正文写明 "Targets remain unmet; all experimental defaults remain disabled"），所以 main 上跑出来的是未加速的数字。

改动 / Changes

1. 算子源码进仓库

从私有 candidate 搬入 csrc/attention/sm70_grouped_long/，共 5,214 行：

kernel/grouped-attention.cu      4,316
include/fused_mma.h                441
include/fused_mha.h                173
kernel/flash_v100_traits.cuh       118
kernel/fp8_kv_utils.cuh            105
kernel/paged_kv_utils.cuh           61

2. 接进主构建

按 sm70_v37 已验证的 target_sources 模式编入 _vllm_fa2_C，带上该算子被验证时用的编译参数（-gencode=arch=compute_70,code=sm_70 -O3 -std=c++17 --use_fast_math 等），并保留那条关键的作用域修正（TARGET_DIRECTORY _vllm_fa2_C，否则 SM70 选项会被静默丢弃）。

只改了注册方式：PYBIND11_MODULE → TORCH_LIBRARY_FRAGMENT(_vllm_fa2_C) + 一层薄适配（TORCH_LIBRARY schema 的 float 对应 C++ double，故适配层做类型转换）。数值代码一行未动。 同时删掉因此不再需要的 torch/extension.h（它拉进 pybind11 需要 Python.h，而该 target 的 nvcc 编译不带 Python include 路径）。

3. 默认可用

def long_attention_enabled() -> bool:
    if os.environ.get(DISABLE_ENV, "").strip().lower() in DISABLE_VALUES:
        return False
    return bool(os.environ.get(MANIFEST_ENV)) or builtin_long_attention() is not None

判据从「环境变量是否设置」改为「算子是否编进随包发布的扩展」。manifest 变量保留为实验覆盖（做 A/B 用），新增 VLLM_SM70_E4M3_LONG_ATTENTION=0/false/no/off 作为显式关闭——它使同一构建能跑出 control 臂，也给运维一个不需要重编的回退手段。

4. 覆盖到 262144 容量

MAX_CONTEXT 132096 → 262152（容量 + 一页 generation headroom）。

同时去掉契约里对声明上界的封顶：该检查的默认值就等于 MAX_CONTEXT，所以恒为真；而声明过大只会导致 attention_context_bucket == context_limit 不匹配、自动回退全上下文路径，是安全降级而非故障。真正有约束力的是 query-row 范围，它对应算子 C++ 侧 q.size(0) >= 2 && q.size(0) <= 8，仍然保留强制。

实测 / Evidence

4×V100-SXM2-32GB，CUDA 12.8，Torch 2.10.0+cu128，QUASAR Qwen3.8-27B-NVFP4 + 7-draft DFlash2，TP4/B1，E4M3 target KV，FP32 state/logits。

未设置任何环境变量（ENV_CHECK manifest=[<unset>]），服务日志确认选中内置算子：

shipped SM70 E4M3 q8 long-context route (sm70_grouped_long_fwd): max_context=262152 query_rows=(8,)

官方 context-cost 客户端，--reset-prefix-cache-before-length --require-native-prefill：

context	round ms	之前	加速	decode tok/s	之前
32,768	18.42	25.57	1.39x	209.7	151.1
65,536	20.50	34.74	1.69x	236.2	139.4
131,072	24.39	52.91	2.17x	177.2	81.7
261,888	38.24	94.93	2.48x	133.4	53.5

prefill 无回退（4082 / 3624 / 3021 / 2233 tok/s，与改动前一致），说明该算子只影响长文 attention 路径。

未覆盖的部分 / Not covered

• 配对验证（三次独立启动 + seeds 0/1/2 自然输出，token ID / acceptance / EOS 必须完全一致）尚未完成。 本次只做了单次启动的 round 与 prefill 测量，acceptance 与冻结 control 一致（5.120 @261888 等），但不构成跨启动的配对证据。[Perf] Reduce DFlash2 long-context verification decay #587 当初默认关闭正是因为这批验证没跑完——我们接受把默认开启前移，但要把这个缺口明确标注出来，验证会以独立 PR 或后续 commit 补齐。
• 回退开关、以及 MAX_CONTEXT 提升后在大容量下的显存开销，尚未做多配置回归。