Anthropic Prompt Caching
Klicken Sie hier, um diese Seite im vollständigen Kontext anzuzeigen

Anthropic | Prompt Caching

Prompt Caching ermöglicht Ihnen, häufig verwendeten Kontext zwischen API-Aufrufen zwischenzuspeichern, wodurch die Kosten um bis zu 90 % bei Cache-Reads gesenkt und die Latenz verbessert wird. Zwischengespeicherter Inhalt wird mit einem cache_control-Parameter markiert und über Anforderungen innerhalb des Cache-TTL-Fensters hinweg wiederverwendet.

System Prompt Caching

Cacht einen langen System-Prompt, um die erneute Verarbeitung bei jeder Anfrage zu vermeiden. Setzen Sie SystemCacheControl auf True, um den System-Prompt automatisch mit cache_control zu umschließen.


Anthropic := TsgcHTTP_API_Anthropic.Create(nil);
Anthropic.AnthropicOptions.ApiKey := 'API_KEY';

oRequest := TsgcAnthropicClass_Request_Messages.Create;
Try
  oRequest.Model := 'claude-sonnet-4-20250514';
  oRequest.MaxTokens := 4096;
  oRequest.System := 'You are an expert legal assistant... (long system prompt)';
  oRequest.SystemCacheControl := True;  // Enable caching for system prompt

  oMessage := TsgcAnthropicClass_Request_Message.Create;
  oMessage.Role := 'user';
  oMessage.Content := 'Analyze this contract clause.';
  oMessages := oRequest.Messages;
  SetLength(oMessages, 1);
  oMessages[0] := oMessage;
  oRequest.Messages := oMessages;

  oResponse := Anthropic.CreateMessage(oRequest);
  Try
    // Check cache usage in response
    WriteLn('Cache created: ' +
      IntToStr(oResponse.Usage.CacheCreationInputTokens));
    WriteLn('Cache read: ' +
      IntToStr(oResponse.Usage.CacheReadInputTokens));
    WriteLn(oResponse.Content[0].Text);
  Finally
    oResponse.Free;
  End;
Finally
  oMessage.Free;
  oRequest.Free;
End;

Content Block Caching

Zwischenspeichert bestimmte Inhaltsblöcke (z. B. große Dokumente oder Kontext), indem CacheControl bei einzelnen Inhaltsblöcken auf 'ephemeral' gesetzt wird.


oBlock := TsgcAnthropicClass_Request_Content_Block.Create;
oBlock.ContentType := 'text';
oBlock.Text := '(large reference text to cache)';
oBlock.CacheControl := 'ephemeral';  // Mark for caching

Tool Definition Caching

Speichert Tool-Definitionen zwischen, um zu vermeiden, dass sie bei jeder Anfrage erneut verarbeitet werden. Dies ist nützlich, wenn Sie viele Tool-Definitionen haben, die über die Anfragen hinweg konstant bleiben.


oTool := TsgcAnthropicClass_Request_Tool.Create;
oTool.Name := 'search_database';
oTool.Description := 'Search the database for records.';
oTool.InputSchema := '{"type":"object","properties":{"query":{"type":"string"}}}';
oTool.CacheControl := 'ephemeral';  // Cache this tool definition

Properties

Preisgestaltung