大模型模型列表与延迟测试
适用于 OpenAI 兼容接口(含各类中转站):填写 Base URL 和 API Key,拉取 /models,分别测量网络往返 RTT与模型首字延迟 TTFT。
纯前端 · 请求由你的浏览器直连 API
部署与使用须知 · 测的是什么 · 为什么会失败(点开)
这个页面测的是什么
- 网络 RTT:由你的浏览器直连 API 的往返时间,包含 DNS、TCP、TLS 握手与服务器响应。这是纯网络 + 服务端处理的时间,不含模型推理。
- 首字延迟 TTFT:从发出请求到收到第一个字的时间,含模型排队 + 首 token 推理。这才是用户实际感受到的"响应速度"。
- 总耗时:整段回复生成完毕的时间。
本页面部署在公网后,测的就是「每位访客自己的网络 → API」的延迟,而不是服务器到 API 的延迟。不同访客的数字天然不同,这是正常的,也是这类工具的意义所在。
为什么请求会失败(按常见程度排序)
- CORS 跨域拦截:目标 API 必须在响应里带
Access-Control-Allow-Origin。没有的话浏览器会直接拦掉请求,控制台显示blocked by CORS policy。这类 API 无法用纯前端页面测试,只能用你自己的后端/Worker 转发。 - 混合内容拦截:本站是 HTTPS,若目标写成
http://的普通公网地址会被拦。访问本机127.0.0.1/localhost通常放行,但可能触发 Private Network Access 预检,要求目标返回Access-Control-Allow-Private-Network: true。 - API Key 无效或额度不足:返回 401 / 403 / 402。
- 模型 ID 不存在:中转站的模型名和官方不一定一致,以
/models返回为准。
本页的状态栏会尽量把上面这几种情况区分开,并给出具体原因。
关于测量准确性
- 冷启动与热连接分开显示:第一次请求要建连(DNS + TCP + TLS)并可能触发 CORS 预检,必然偏大。页面的"冷启动"单独显示,不污染后续读数。
- 连续采样取中位数:每次测多轮,取中位数,避免单次抖动误导。
- TTFT 优先用流式:流式才能准确拿到"第一个字"的时间。若接口不支持流式,会自动降级为一次性请求,此时首字延迟等于总耗时(页面会标注)。
API Key 安全
- 本页面不包含任何 API Key,Key 只保存在你自己的浏览器
localStorage里,不会上传到本站服务器。 - 不要在公共电脑上勾选"记住配置"。在公共设备用完请点"清空结果"并手动清除浏览器数据。
- 页面上的所有请求都由你的浏览器直接发往你填写的 Base URL,本站看不到、也不中转你的 Key 与内容。
| 模型 ID | 首字延迟 | 总耗时 | 操作 | |
|---|---|---|---|---|
| 还没有模型。请先点击“获取模型列表”。 | ||||
对话
图片会按 OpenAI 兼容 vision 格式作为 image_url 发送;文本类文件会读取内容并附加到消息里。