Ollama Local LLM
Draai open source large language models lokaal vanuit je Delphi-, C++ Builder- en .NET-toepassingen. Inference blijft privé, offline en on-premise en draait op je eigen hardware zonder dat een cloud-API nodig is.
Draai open source large language models lokaal vanuit je Delphi-, C++ Builder- en .NET-toepassingen. Inference blijft privé, offline en on-premise en draait op je eigen hardware zonder dat een cloud-API nodig is.
Ollama REST-API-client voor lokale chat completions, embeddings en modelbeheer.
TsgcHTTP_API_Ollama
Ollama REST-API over HTTP
Windows, macOS, Linux, iOS, Android
Enterprise (AI-uitbreiding)
Ollama draait lokaal en heeft geen API-sleutel nodig. Stel OllamaOptions.BaseUrl in op je lokale server (standaard http://localhost:11434/api) en roep dan _CreateMessage aan, of bouw een TsgcOllamaClass_Request_ChatCompletion en roep CreateMessage aan.
uses
sgcHTTP_API_Ollama;
var
Ollama: TsgcHTTP_API_Ollama;
begin
Ollama := TsgcHTTP_API_Ollama.Create(nil);
// Lokale server, geen API-sleutel nodig
Ollama.OllamaOptions.BaseUrl := 'http://localhost:11434/api';
// Eenvoudig one-shot bericht
Memo1.Lines.Text := Ollama._CreateMessage(
'llama3',
'What are the benefits of WebSockets?');
// Streaming — verwerk OnHTTPAPISSE per chunk
Ollama.OnHTTPAPISSE := HandleSSE;
Ollama._CreateMessageStream(
'llama3',
'Summarise RFC 6455');
end;
procedure TForm1.HandleSSE(Sender: TObject;
const aEvent, aData: string;
var Cancel: Boolean);
begin
Memo1.Lines.Add(aEvent + ': ' + aData);
end;// uses: sgcHTTP_API_Ollama
TsgcHTTP_API_Ollama *Ollama = new TsgcHTTP_API_Ollama(this);
// Lokale server, geen API-sleutel nodig
Ollama->OllamaOptions->BaseUrl = "http://localhost:11434/api";
// Eenvoudig one-shot bericht
Memo1->Lines->Text = Ollama->_CreateMessage(
"llama3",
"What are the benefits of WebSockets?");
// Streaming — OnHTTPAPISSE wordt per chunk uitgevoerd
Ollama->OnHTTPAPISSE = HandleSSE;
Ollama->_CreateMessageStream(
"llama3",
"Summarise RFC 6455");using esegece.sgcWebSockets;
var ollama = new TsgcHTTPAPI_Ollama();
// Lokale server, geen API-sleutel nodig
ollama.OllamaOptions.BaseUrl = "http://localhost:11434/api";
// Eenvoudig one-shot bericht
Console.WriteLine(ollama._CreateMessage(
"llama3",
"What are the benefits of WebSockets?"));
// Streaming via Server-Sent Events
ollama.OnHTTPAPISSE += (sender, ev, data, cancel) => Console.Write(data);
ollama._CreateMessageStream(
"llama3",
"Summarise RFC 6455");Getypeerde request/response-klassen voor chat completions en embeddings, plus modelbeheer en streaming via Server-Sent Events.
CreateMessage stuurt een getypeerde TsgcOllamaClass_Request_ChatCompletion en geeft een geparseerde response terug. _CreateMessage, _CreateMessageWithSystem en _CreateMessageStream zijn string-snelkoppelingen, waarbij streaming-delta's via OnHTTPAPISSE worden geleverd.
CreateEmbeddings zet invoertekst om in een dichte vector met een lokaal opgehaald embedding-model zoals nomic-embed-text of mxbai-embed-large, en geeft een TsgcOllamaClass_Response_Embeddings terug.
Beheer de modellen op je machine: _GetModels en _GetTags tonen wat beschikbaar is, _ShowModel leest modeldetails, _PullModel downloadt uit de Ollama-bibliotheek en _DeleteModel verwijdert een lokaal model.
Elk verzoek richt zich op een lokale Ollama-server (standaard http://localhost:11434/api), zodat er geen data je netwerk verlaat en geen API-sleutel nodig is. Richt OllamaOptions.BaseUrl op een externe of gecontaineriseerde instantie wanneer dat nodig is.
CircuitBreaker kortsluit verzoeken wanneer de server niet gezond is; ReadTimeout en TLSOptions stellen de HTTP/HTTPS-laag af; OnHTTPAPIException toont fouten; OnHTTPAPISSE streamt server-sent events.
Gezaghebbende bronnen voor de protocollen die dit component implementeert.
Diepe link naar de componentreferentie, pak het kant-en-klare demoproject en download de proefversie.
| Online help — Ollama Volledige referentie van eigenschappen, methoden en events voor dit component. | Openen | |
| Demoproject — Demos\AI\Ollama Kant-en-klaar voorbeeldproject. Inbegrepen in het sgcWebSockets-package — download de proefversie hieronder. | Openen | |
| Gebruikershandleiding (PDF) Uitgebreide handleiding die alle componenten in de bibliotheek behandelt. | Openen |