SGLang 与 vLLM 对 DeepSeek 和 GLM-5 模型的最新优化研究

📖 背景 / Background

随着 DeepSeek 和 GLM-5 等国产大模型的崛起，如何高效地部署和推理这些模型成为工业界关注的焦点。SGLang 和 vLLM 作为当前最流行的两个开源 LLM 推理框架，都在不断优化对这些新型模型的支持。

DeepSeek 模型简介

DeepSeek 系列模型由深度求索公司开发，其核心创新在于 MLA (Multi-head Latent Attention) 技术，通过压缩 KV Cache 来大幅降低推理内存占用。

• DeepSeek-V2/V3：采用 MLA 技术，将 KV Cache 压缩到原始大小的 1/8-1/16
• DeepSeek-MoE：混合专家架构，需要动态路由计算
• 长序列支持：支持 128K-1M token 上下文长度

GLM-5 模型简介

GLM-5 是智谱 AI 推出的新一代通用大模型，其特点是高效的长文本处理和灵活的 Prefix Caching 机制。

• GLM-4-9B / GLM-4-Plus：当前主流版本
• GLM-5 系列：预计支持更长的上下文和更强的推理能力
• Prefix 优化：原生支持高效的 System Prompt 缓存

推理优化需求

对于这些大模型，推理优化主要关注以下方面：

🚀 SGLang 对 DeepSeek 的优化

SGLang 针对 DeepSeek 模型做了深度优化，主要体现在以下几个方面：

MLA (Multi-head Latent Attention) 优化

DeepSeek 的 MLA 技术是其核心创新，SGLang 通过以下方式实现高效支持：

# SGLang MLA 实现核心代码
class DeepSeekMLA:
    def __init__(self, hidden_size, num_heads, kv_lora_rank):
        # 压缩 KV 矩阵的秩
        self.kv_lora_rank = kv_lora_rank
        # 投影矩阵用于压缩
        self.kv_down_proj = Linear(hidden_size, kv_lora_rank * 2)
        # 逆投影用于解压
        self.kv_up_proj = Linear(kv_lora_rank, hidden_size)

    def compress_kv(self, k, v):
        # 将 KV 压缩到低维空间
        kv = self.kv_down_proj(torch.cat([k, v], dim=-1))
        return kv.chunk(2, dim=-1)
Python

FlashDecoding 优化

对于 DeepSeek 的长序列场景，SGLang 引入了 FlashDecoding 技术：

• 分块计算：将长序列分成多个块并行计算注意力
• 在线 Softmax：避免存储完整的注意力矩阵
• 内存重用：减少 HBM 到 SM 的数据传输

Radix Attention

SGLang 独有的 Radix Attention 机制对 DeepSeek 特别有效：

⚡ vLLM 对 DeepSeek 的优化

vLLM 也对 DeepSeek 模型进行了优化，但侧重点有所不同：

PagedAttention 增强

vLLM 的核心 PagedAttention 对 DeepSeek 的 MLA 进行了适配：

# vLLM PagedAttention for DeepSeek
class DeepSeekPagedAttention(PagedAttention):
    def __init__(self, num_heads, head_size, kv_lora_rank):
        super().__init__(num_heads, head_size)
        # DeepSeek 特有的 KV 压缩配置
        self.kv_lora_rank = kv_lora_rank
        self.block_size = 16  # 针对 MLA 优化的块大小

    def forward(self, query, key_cache, value_cache):
        # 解压 KV Cache
        k, v = self.decompress_kv(key_cache, value_cache)
        # 标准 PagedAttention 计算
        return super().forward(query, k, v)
Python

KV Cache 优化

vLLM 针对 DeepSeek 的 KV Cache 做了以下优化：

🎯 SGLang 对 GLM-5 的优化

Prefix Caching

SGLang 对 GLM-5 的 System Prompt 缓存进行了优化：

# SGLang Prefix Caching for GLM-5
class GLMPrefixCache:
    def __init__(self, max_size=1024):
        self.cache = {}
        self.max_size = max_size

    def get_or_compute(self, prefix_key, model, input_ids):
        if prefix_key in self.cache:
            return self.cache[prefix_key]
        # 计算并缓存前缀
        result = self.compute_prefix(model, input_ids)
        self.cache[prefix_key] = result
        return result
Python

Speculative Decoding

SGLang 为 GLM-5 提供了 Speculative Decoding 支持：

• 使用小型 Draft Model 加速生成
• 支持 DeepSeek-VL 作为 GLM-5 的 Draft Model
• 验证通过率可达 70-80%

🔧 vLLM 对 GLM-5 的优化

vLLM 对 GLM-5 的支持更加成熟和全面：

Block Manager 优化

vLLM 的 Block Manager 特别适合 GLM-5 的需求：

# vLLM Block Manager for GLM-5
class GLMBlockManager(BlockManager):
    def allocate_block(self, request_id, seq_len):
        # GLM-5 特殊的块分配策略
        if self.has_prefix(request_id):
            # 复用 Prefix Cache 块
            return self.reuse_prefix_blocks(request_id)
        else:
            # 分配新块
            return super().allocate_block(request_id, seq_len)
Python

📊 框架对比分析

性能对比

内存占用对比

易用性对比

✅ 结论与建议

基于以上分析，我们可以得出以下结论和建议：

快速启动命令

# SGLang 启动 DeepSeek-V2
python3 -m sglang.launch_server --model-path deepseek-ai/DeepSeek-V2 \
    --tokenizer-path deepseek-ai/DeepSeek-V2 \
    --tp 4 --port 8000

# vLLM 启动 GLM-4-9B
python3 -m vllm.entrypoints.openai.api_server \
    --model THUDM/glm-4-9b-chat \
    --tensor-parallel-size 4 \
    --port 8001
Bash

📚 参考资料 / References

1. SGLang GitHub Repository — SGLang 官方代码仓库
2. vLLM GitHub Repository — vLLM 官方代码仓库
3. DeepSeek-V2 Model — DeepSeek-V2 模型及论文
4. GLM-4 Model — GLM-4 系列模型仓库
5. DeepSeek-V2 Technical Report — DeepSeek-V2 技术报告