Кэширование промптов в Claude
На этой странице описано, как включить кэширование промптов для Claude и проверить попадание в кэш. ID моделей и адреса API см. в обзоре семейства Claude.
ГлавноеКэш Claude требует явной разметки cache_control: ни один из двух API не кэширует автоматически.
Поместите длинное неизменное содержимое (системный промпт, документы, определения инструментов) в начало запроса и отметьте cache_control последний неизменный блок. Если префикс последующих запросов полностью совпадает с ним, произойдёт попадание в кэш.
Нативный API Anthropic
claude_cache.py
import os
import anthropic
client = anthropic.Anthropic(base_url="https://api.ofox.ai/anthropic", api_key=os.environ["OFOX_API_KEY"])
LONG_DOC = open("manual.txt", encoding="utf-8").read() # длинный неизменный документ
for question in ["О чём говорится в главе 3?", "Кратко изложи основные мысли всего текста."]:
message = client.messages.create(
model="anthropic/claude-sonnet-4.6",
max_tokens=1024,
system=[
{"type": "text", "text": "Отвечай на вопросы по документу ниже."},
{"type": "text", "text": LONG_DOC, "cache_control": {"type": "ephemeral"}},
],
messages=[{"role": "user", "content": question}],
)
u = message.usage
print("Запись:", u.cache_creation_input_tokens, "Чтение:", u.cache_read_input_tokens)Общие сведения о кэшировании: Кэширование промптов.
Другие ошибки см. в разделе Типичные ошибки.
Обновлено