Anthropic Prompt Caching
Clique aqui para ver esta página no contexto completo

Anthropic | Prompt Caching

O cache de prompts permite que você armazene em cache contexto usado com frequência entre chamadas de API, reduzindo custos em até 90% nas leituras de cache e melhorando a latência. O conteúdo em cache é marcado com um parâmetro cache_control e é reutilizado entre requisições dentro da janela TTL do cache.

System Prompt Caching

Faça cache de um system prompt longo para evitar reprocessá-lo a cada requisição. Defina SystemCacheControl como True para envolver automaticamente o system prompt com cache_control.


Anthropic := TsgcHTTP_API_Anthropic.Create(nil);
Anthropic.AnthropicOptions.ApiKey := 'API_KEY';

oRequest := TsgcAnthropicClass_Request_Messages.Create;
Try
  oRequest.Model := 'claude-sonnet-4-20250514';
  oRequest.MaxTokens := 4096;
  oRequest.System := 'You are an expert legal assistant... (long system prompt)';
  oRequest.SystemCacheControl := True;  // Enable caching for system prompt

  oMessage := TsgcAnthropicClass_Request_Message.Create;
  oMessage.Role := 'user';
  oMessage.Content := 'Analyze this contract clause.';
  oMessages := oRequest.Messages;
  SetLength(oMessages, 1);
  oMessages[0] := oMessage;
  oRequest.Messages := oMessages;

  oResponse := Anthropic.CreateMessage(oRequest);
  Try
    // Check cache usage in response
    WriteLn('Cache created: ' +
      IntToStr(oResponse.Usage.CacheCreationInputTokens));
    WriteLn('Cache read: ' +
      IntToStr(oResponse.Usage.CacheReadInputTokens));
    WriteLn(oResponse.Content[0].Text);
  Finally
    oResponse.Free;
  End;
Finally
  oMessage.Free;
  oRequest.Free;
End;

Content Block Caching

Faz cache de blocos de conteúdo específicos (por exemplo, documentos grandes ou contexto) definindo CacheControl como 'ephemeral' em blocos de conteúdo individuais.


oBlock := TsgcAnthropicClass_Request_Content_Block.Create;
oBlock.ContentType := 'text';
oBlock.Text := '(large reference text to cache)';
oBlock.CacheControl := 'ephemeral';  // Mark for caching

Cache de Definição de Tool

Armazene em cache as definições de tool para evitar reprocessá-las a cada requisição. Isto é útil quando você tem muitas definições de tool que permanecem constantes entre as requisições.


oTool := TsgcAnthropicClass_Request_Tool.Create;
oTool.Name := 'search_database';
oTool.Description := 'Search the database for records.';
oTool.InputSchema := '{"type":"object","properties":{"query":{"type":"string"}}}';
oTool.CacheControl := 'ephemeral';  // Cache this tool definition

Properties

Preços