Uruchamiaj lokalnie otwartoźródłowe duże modele językowe z aplikacji Delphi, C++ Builder i .NET. Inferencja pozostaje prywatna, offline i on-premise, wykonując się na Twoim własnym sprzęcie bez konieczności korzystania z chmurowego API.
Klient Ollama REST API do lokalnego uzupełniania czatu, embeddingów i zarządzania modelami.
TsgcHTTP_API_Ollama
Ollama REST API przez HTTP
Windows, macOS, Linux, iOS, Android
Enterprise (dodatek AI)
Ollama działa lokalnie i nie wymaga klucza API. Ustaw OllamaOptions.Host na swój lokalny serwer (domyślnie http://localhost:11434), a następnie wywołaj _CreateMessage albo zbuduj TsgcOllamaClass_Request_ChatCompletion i wywołaj CreateMessage.
uses
sgcHTTP_API_Ollama;
var
Ollama: TsgcHTTP_API_Ollama;
begin
Ollama := TsgcHTTP_API_Ollama.Create(nil);
// Local server, no API key needed
Ollama.OllamaOptions.Host := 'http://localhost:11434';
// Simple one-shot message
Memo1.Lines.Text := Ollama._CreateMessage(
'llama3',
'What are the benefits of WebSockets?');
// Streaming — handle OnHTTPAPISSE per chunk
Ollama.OnHTTPAPISSE := HandleSSE;
Ollama._CreateMessageStream(
'llama3',
'Summarise RFC 6455');
end;
procedure TForm1.HandleSSE(Sender: TObject;
const aEvent, aData: string;
var Cancel: Boolean);
begin
Memo1.Lines.Add(aEvent + ': ' + aData);
end;// uses: sgcHTTP_API_Ollama
TsgcHTTP_API_Ollama *Ollama = new TsgcHTTP_API_Ollama(this);
// Local server, no API key needed
Ollama->OllamaOptions->Host = "http://localhost:11434";
// Simple one-shot message
Memo1->Lines->Text = Ollama->_CreateMessage(
"llama3",
"What are the benefits of WebSockets?");
// Streaming — OnHTTPAPISSE fires per chunk
Ollama->OnHTTPAPISSE = HandleSSE;
Ollama->_CreateMessageStream(
"llama3",
"Summarise RFC 6455");using esegece.sgcWebSockets;
var ollama = new TsgcHTTPAPI_Ollama();
// Local server, no API key needed
ollama.OllamaOptions.Host = "http://localhost:11434";
// Simple one-shot message
Console.WriteLine(ollama._CreateMessage(
"llama3",
"What are the benefits of WebSockets?"));
// Streaming request, returns the complete text
Console.WriteLine(ollama._CreateMessageStream(
"llama3",
"Summarise RFC 6455"));Zestaw .NET nie udostępnia zdarzenia strumieniowania dla pojedynczych fragmentów. _CreateMessageStream wykonuje żądanie strumieniowe i zwraca pełny tekst po zakończeniu strumienia. Aby otrzymywać dane token po tokenie, użyj zdarzenia OnHTTPAPISSE pokazanego na kartach Delphi i C++ Builder.
Typowane klasy żądania / odpowiedzi dla uzupełniania czatu i embeddingów, a także zarządzanie modelami i strumieniowanie przez Server-Sent Events.
CreateMessage wysyła typowane TsgcOllamaClass_Request_ChatCompletion i zwraca sparsowaną odpowiedź. _CreateMessage, _CreateMessageWithSystem i _CreateMessageStream to skróty na łańcuchach, z deltami strumieniowymi dostarczanymi przez OnHTTPAPISSE.
CreateEmbeddings zamienia tekst wejściowy w gęsty wektor przy użyciu lokalnie pobranego modelu embeddingowego, takiego jak nomic-embed-text lub mxbai-embed-large, zwracając TsgcOllamaClass_Response_Embeddings.
Zarządzaj modelami na swojej maszynie: _GetModels i _GetTags wymieniają to, co jest dostępne, _ShowModel odczytuje szczegóły modelu, _PullModel pobiera z biblioteki Ollama, a _DeleteModel usuwa lokalny model.
Każde żądanie kierowane jest do lokalnego serwera Ollama (domyślnie http://localhost:11434), dzięki czemu żadne dane nie opuszczają Twojej sieci i nie jest wymagany klucz API. Skieruj OllamaOptions.Host na zdalną lub skonteneryzowaną instancję, gdy zajdzie taka potrzeba.
CircuitBreaker krótkozwiera żądania, gdy serwer jest niesprawny; ReadTimeout i TLSOptions dostrajają warstwę HTTP/HTTPS; OnHTTPAPIException ujawnia błędy; OnHTTPAPISSE strumieniuje zdarzenia Server-Sent Events.
Autorytatywne źródła protokołów implementowanych przez ten komponent.
Deep-link do dokumentacji komponentu, gotowy do uruchomienia projekt demonstracyjny i pobranie wersji próbnej.
| Pomoc online — Ollama Pełna dokumentacja właściwości, metod i zdarzeń tego komponentu. | Otwórz | |
| Projekt demonstracyjny — Demos\AI\Ollama Gotowy do uruchomienia projekt przykładowy. Dostarczany wewnątrz pakietu sgcWebSockets — pobierz wersję próbną poniżej. | Otwórz | |
| Podręcznik użytkownika (PDF) Kompleksowy podręcznik obejmujący każdy komponent biblioteki. | Otwórz |