首 Token 延迟实测：六个模型在三种提示词长度下的真实表现

一个语音助手 Demo 跑得好好的，上线就被人说「反应太慢」。翻模型规格表，每家都写着自己低延迟，但真到用户盯着屏幕等回复的时候，谁快谁慢，其实没底。

更麻烦的是这种等待没法靠猜。你挑三四个模型，文档都说自己快，但没人告诉你：在你实际用的提示词长度下，谁真能一秒内开口？把文档从 500 字加到 10000 字之后谁会突然变慢？谁平时正常、却偶尔卡上十几秒？

Aekor 这次直接把这件事测了。六个模型，三种提示词长度，380 次调用，全部跑在无服务器推理上，Tier 1 定价档，也就是新账户的默认档位。

测试对象：Gemma 4、GLM-5.3、Kimi K2.6、DeepSeek V3.2、DeepSeek V4.1 Flash、Llama 4 Maverick。

为什么只看 TTFT

首 Token 延迟（Time to First Token，TTFT）不等于总响应时间。一个模型可能两秒才开始输出，但之后流式生成很快；另一个模型立刻开始，但每字都慢。前者对用户来说是「想了很久才说话」，后者是「边想边说」。

但对聊天、语音、Agent 这类交互式应用，用户感受到的等待就是第一段内容出现之前那段时间。所以 TTFT 决定了产品给人「反应灵敏」还是「卡住了」的印象。

这里有个容易忽略的细节：推理模型的思考过程也算输出。Kimi K2.6 和 DeepSeek V4.1 Flash 总是先吐推理内容，GLM-5.3 在长提示词下也会。如果只监听最终答案，就会把前面那段等待算漏。

测试方法

三种提示词长度：短提示词一个简单问题，约 20–50 token；中等约 500 token，一段摘录加一个摘要请求；长约 5000–10000 token，更长的摘录加一个问题。

每个模型和长度组合重复 20 次。另外对 DeepSeek V3.2 单独做了 20 次精确 10000 token 的测试，用模型自己的 tokenizer 计数，不用字符数估算。全部合计 380 次调用。

为了避免命中提示缓存，每条提示词开头都插了随机 UUID：

import uuid

session_marker = str(uuid.uuid4())
full_prompt = f"[session:{session_marker}]\n{prompt_text}"

计时逻辑在请求发出前启动，逐块接收流式响应，在第一段真实内容出现时打时间戳：

import time

start_time = time.perf_counter()
first_token_time = None

stream = client.chat.completions.create(
    model=model,
    messages=[{"role": "user", "content": full_prompt}],
    stream=True,
    max_tokens=50,
)

for chunk in stream:
    if chunk.choices:
        delta = chunk.choices[0].delta
        content_piece = getattr(delta, "content", None) or getattr(delta, "reasoning_content", None)
        if content_piece and first_token_time is None:
            first_token_time = time.perf_counter()

ttft = first_token_time - start_time

那行 getattr(delta, "content", None) or getattr(delta, "reasoning_content", None) 是踩坑之后加的。第一版脚本只检查 content，390 条记录里有 127 条没记到 TTFT，因为有些模型把 50 token 的输出预算全用在推理上了，还没轮到最终答案，额度就耗尽了。

要让输入精确到 10000 token，用的是二分查找：

low, high = 1, len(sentences)
best_text, best_count, best_diff = None, None, float("inf")

while low <= high:
    mid = (low + high) // 2
    candidate_text = " ".join(sentences[:mid]) + question_suffix
    tok_count = count_tokens(candidate_text, "deepseek-3.2")
    diff = abs(tok_count - 10000)

    if diff < best_diff:
        best_text, best_count, best_diff = candidate_text, tok_count, diff

    if tok_count < 10000:
        low = mid + 1
    elif tok_count > 10000:
        high = mid - 1
    else:
        break