STREAMING

流式输出

流式模式会在模型生成内容时持续返回片段，首字显示更快，特别适合较长回答和聊天客户端。

如何开启

在聊天请求 JSON 中加入 "stream": true：

{
  "model": "YOUR_MODEL",
  "messages": [
    {"role": "user", "content": "请详细解释什么是流式输出。"}
  ],
  "stream": true
}

它是如何工作的

服务端通常使用 Server-Sent Events 持续发送以 data: 开头的数据块。客户端应逐块消费，而不是等待整个响应结束再读取。

• 首个数据块不一定包含正文，可能只有角色或元数据。
• 正文被拆成多个片段，客户端应按顺序拼接。
• 流正常结束时通常会收到结束标记或连接自然完成。
• HTTP 200 只说明连接已建立，流中途仍可能返回错误信息。

为什么会中断

九关转发说明

九关 Worker 会直接透传上游的 ReadableStream，不会先把整段回答读入内存，也明确禁用了缓存。这种实现适合流式 API，但最终稳定性仍同时受用户网络、Cloudflare 网络和上游服务影响。