Skip to Content
开发指南概览

开发指南

接口已经调通之后,按要做的事找对应指南。每篇都给出可运行的示例,各篇覆盖的协议以页内为准。

基础功能

让模型「怎么回答」:逐字输出、调用你的函数、按固定格式返回、读懂图片。

我想…看这篇要点
让回复逐字显示,不等整段生成完流式响应SSE 推送;含断线重连与流式下的函数调用
让模型调用我的函数或外部 API函数调用定义 tools,支持并行调用与 tool_choice
让输出固定为 JSON结构化输出JSON Mode 与 JSON Schema 约束
让模型看图视觉理解图片 URL 或 Base64,可多图对比

省钱与稳定

同样的请求花更少的钱、出问题时不中断。

我想…看这篇要点
长提示词反复发送,想降成本提示缓存缓存重复前缀,降低 Token 费用与延迟
Gemini 的大段上下文跨请求复用Gemini 显式缓存主动创建并引用 cachedContents,命中更确定
指定由哪家供应商处理请求供应商路由默认自动路由;需要时用 provider.type 指定
主模型出错时自动换备用模型故障回退provider.fallback,最多 3 个备选模型

出错时

请求失败、被限流或被拦截时,先看这里。

遇到…看这篇要点
报错,想知道怎么处理、要不要重试错误处理与重试状态码、错误格式、指数退避与超时设置
429 Too Many Requests速率限制默认 100 RPM,按团队汇总;读响应头决定等多久
请求被内容安全拦截或暂停内容安全触发规则、暂停时长与恢复方法

SDK 与框架

在代码里用现成的 SDK 或框架接入,改的都只是 API 地址和 Key。

我在用…看这篇
OpenAI 官方 SDK(迁移现有项目)OpenAI SDK
LangChainLangChain
LlamaIndexLlamaIndex
Last updated on