Uruchamiaj lokalnie otwartoźródłowe duże modele językowe z aplikacji Delphi, C++ Builder i .NET. Inferencja pozostaje prywatna, offline i on-premise, wykonując się na Twoim własnym sprzęcie bez konieczności korzystania z chmurowego API.
Klient Ollama REST API do lokalnego uzupełniania czatu, embeddingów i zarządzania modelami.
TsgcHTTP_API_Ollama
Ollama REST API przez HTTP
Windows, macOS, Linux, iOS, Android
Enterprise (dodatek AI)
Ollama działa lokalnie i nie wymaga klucza API. Ustaw OllamaOptions.BaseUrl na swój lokalny serwer (domyślnie http://localhost:11434/api), a następnie wywołaj _CreateMessage albo zbuduj TsgcOllamaClass_Request_ChatCompletion i wywołaj CreateMessage.
uses
sgcHTTP_API_Ollama;
var
Ollama: TsgcHTTP_API_Ollama;
begin
Ollama := TsgcHTTP_API_Ollama.Create(nil);
// Local server, no API key needed
Ollama.OllamaOptions.BaseUrl := 'http://localhost:11434/api';
// Simple one-shot message
Memo1.Lines.Text := Ollama._CreateMessage(
'llama3',
'What are the benefits of WebSockets?');
// Streaming — handle OnHTTPAPISSE per chunk
Ollama.OnHTTPAPISSE := HandleSSE;
Ollama._CreateMessageStream(
'llama3',
'Summarise RFC 6455');
end;
procedure TForm1.HandleSSE(Sender: TObject;
const aEvent, aData: string;
var Cancel: Boolean);
begin
Memo1.Lines.Add(aEvent + ': ' + aData);
end;// uses: sgcHTTP_API_Ollama
TsgcHTTP_API_Ollama *Ollama = new TsgcHTTP_API_Ollama(this);
// Local server, no API key needed
Ollama->OllamaOptions->BaseUrl = "http://localhost:11434/api";
// Simple one-shot message
Memo1->Lines->Text = Ollama->_CreateMessage(
"llama3",
"What are the benefits of WebSockets?");
// Streaming — OnHTTPAPISSE fires per chunk
Ollama->OnHTTPAPISSE = HandleSSE;
Ollama->_CreateMessageStream(
"llama3",
"Summarise RFC 6455");using esegece.sgcWebSockets;
var ollama = new TsgcHTTPAPI_Ollama();
// Local server, no API key needed
ollama.OllamaOptions.BaseUrl = "http://localhost:11434/api";
// Simple one-shot message
Console.WriteLine(ollama._CreateMessage(
"llama3",
"What are the benefits of WebSockets?"));
// Streaming via Server-Sent Events
ollama.OnHTTPAPISSE += (sender, ev, data, cancel) => Console.Write(data);
ollama._CreateMessageStream(
"llama3",
"Summarise RFC 6455");Typowane klasy żądania / odpowiedzi dla uzupełniania czatu i embeddingów, a także zarządzanie modelami i strumieniowanie przez Server-Sent Events.
CreateMessage wysyła typowane TsgcOllamaClass_Request_ChatCompletion i zwraca sparsowaną odpowiedź. _CreateMessage, _CreateMessageWithSystem i _CreateMessageStream to skróty na łańcuchach, z deltami strumieniowymi dostarczanymi przez OnHTTPAPISSE.
CreateEmbeddings zamienia tekst wejściowy w gęsty wektor przy użyciu lokalnie pobranego modelu embeddingowego, takiego jak nomic-embed-text lub mxbai-embed-large, zwracając TsgcOllamaClass_Response_Embeddings.
Zarządzaj modelami na swojej maszynie: _GetModels i _GetTags wymieniają to, co jest dostępne, _ShowModel odczytuje szczegóły modelu, _PullModel pobiera z biblioteki Ollama, a _DeleteModel usuwa lokalny model.
Każde żądanie kierowane jest do lokalnego serwera Ollama (domyślnie http://localhost:11434/api), dzięki czemu żadne dane nie opuszczają Twojej sieci i nie jest wymagany klucz API. Skieruj OllamaOptions.BaseUrl na zdalną lub skonteneryzowaną instancję, gdy zajdzie taka potrzeba.
CircuitBreaker krótkozwiera żądania, gdy serwer jest niesprawny; ReadTimeout i TLSOptions dostrajają warstwę HTTP/HTTPS; OnHTTPAPIException ujawnia błędy; OnHTTPAPISSE strumieniuje zdarzenia Server-Sent Events.
Autorytatywne źródła protokołów implementowanych przez ten komponent.
Deep-link do dokumentacji komponentu, gotowy do uruchomienia projekt demonstracyjny i pobranie wersji próbnej.
| Pomoc online — Ollama Pełna dokumentacja właściwości, metod i zdarzeń tego komponentu. | Otwórz | |
| Projekt demonstracyjny — Demos\AI\Ollama Gotowy do uruchomienia projekt przykładowy. Dostarczany wewnątrz pakietu sgcWebSockets — pobierz wersję próbną poniżej. | Otwórz | |
| Podręcznik użytkownika (PDF) Kompleksowy podręcznik obejmujący każdy komponent biblioteki. | Otwórz |