Ollama Yerel LLM
Açık kaynaklı büyük dil modellerini Delphi, C++ Builder ve .NET uygulamalarınızdan yerel olarak çalıştırın. Çıkarım gizli, çevrimdışı ve şirket içinde kalır; bulut API'si gerektirmeden kendi donanımınızda yürütülür.
Açık kaynaklı büyük dil modellerini Delphi, C++ Builder ve .NET uygulamalarınızdan yerel olarak çalıştırın. Çıkarım gizli, çevrimdışı ve şirket içinde kalır; bulut API'si gerektirmeden kendi donanımınızda yürütülür.
Yerel sohbet tamamlamaları, embeddings ve model yönetimi için Ollama REST API istemcisi.
TsgcHTTP_API_Ollama
HTTP üzerinden Ollama REST API
Windows, macOS, Linux, iOS, Android
Enterprise (yapay zeka eklentisi)
Ollama yerel olarak çalışır ve API anahtarı gerektirmez. OllamaOptions.BaseUrl değerini yerel sunucunuza ayarlayın (varsayılan http://localhost:11434/api), ardından _CreateMessage çağırın veya bir TsgcOllamaClass_Request_ChatCompletion oluşturup CreateMessage çağırın.
uses
sgcHTTP_API_Ollama;
var
Ollama: TsgcHTTP_API_Ollama;
begin
Ollama := TsgcHTTP_API_Ollama.Create(nil);
// Local server, no API key needed
Ollama.OllamaOptions.BaseUrl := 'http://localhost:11434/api';
// Simple one-shot message
Memo1.Lines.Text := Ollama._CreateMessage(
'llama3',
'What are the benefits of WebSockets?');
// Streaming — handle OnHTTPAPISSE per chunk
Ollama.OnHTTPAPISSE := HandleSSE;
Ollama._CreateMessageStream(
'llama3',
'Summarise RFC 6455');
end;
procedure TForm1.HandleSSE(Sender: TObject;
const aEvent, aData: string;
var Cancel: Boolean);
begin
Memo1.Lines.Add(aEvent + ': ' + aData);
end;// uses: sgcHTTP_API_Ollama
TsgcHTTP_API_Ollama *Ollama = new TsgcHTTP_API_Ollama(this);
// Local server, no API key needed
Ollama->OllamaOptions->BaseUrl = "http://localhost:11434/api";
// Simple one-shot message
Memo1->Lines->Text = Ollama->_CreateMessage(
"llama3",
"What are the benefits of WebSockets?");
// Streaming — OnHTTPAPISSE fires per chunk
Ollama->OnHTTPAPISSE = HandleSSE;
Ollama->_CreateMessageStream(
"llama3",
"Summarise RFC 6455");using esegece.sgcWebSockets;
var ollama = new TsgcHTTPAPI_Ollama();
// Local server, no API key needed
ollama.OllamaOptions.BaseUrl = "http://localhost:11434/api";
// Simple one-shot message
Console.WriteLine(ollama._CreateMessage(
"llama3",
"What are the benefits of WebSockets?"));
// Streaming via Server-Sent Events
ollama.OnHTTPAPISSE += (sender, ev, data, cancel) => Console.Write(data);
ollama._CreateMessageStream(
"llama3",
"Summarise RFC 6455");Sohbet tamamlamaları ve embeddings için türlenmiş istek / yanıt sınıfları, ayrıca model yönetimi ve Server-Sent Events üzerinden akış.
CreateMessage türlenmiş bir TsgcOllamaClass_Request_ChatCompletion gönderir ve ayrıştırılmış bir yanıt döndürür. _CreateMessage, _CreateMessageWithSystem ve _CreateMessageStream dize kısayollarıdır ve akış deltaları OnHTTPAPISSE aracılığıyla iletilir.
CreateEmbeddings, nomic-embed-text veya mxbai-embed-large gibi yerel olarak indirilmiş bir embedding modeli kullanarak girdi metnini yoğun bir vektöre dönüştürür ve bir TsgcOllamaClass_Response_Embeddings döndürür.
Makinenizdeki modelleri yönetin: _GetModels ve _GetTags mevcut olanları listeler, _ShowModel model ayrıntılarını okur, _PullModel Ollama kütüphanesinden indirir ve _DeleteModel yerel bir modeli kaldırır.
Her istek yerel bir Ollama sunucusunu hedefler (varsayılan http://localhost:11434/api); böylece hiçbir veri ağınızdan çıkmaz ve API anahtarı gerekmez. İhtiyaç duyduğunuzda OllamaOptions.BaseUrl değerini uzak veya kapsayıcılı bir örneğe yönlendirin.
Sunucu sağlıksız olduğunda CircuitBreaker istekleri kısa devre yaptırır; ReadTimeout ve TLSOptions HTTP/HTTPS katmanını ayarlar; OnHTTPAPIException hataları açığa çıkarır; OnHTTPAPISSE sunucu tarafından gönderilen olayları akıtır.
Bu bileşenin uyguladığı protokoller için yetkili kaynaklar.
Bileşen referansına doğrudan bağlanın, çalışmaya hazır demo projesini alın ve denemeyi indirin.
| Çevrimiçi Yardım — Ollama Bu bileşen için tam özellik, metot ve olay referansı. | Aç | |
| Demo Projesi — Demos\AI\Ollama Çalışmaya hazır örnek proje. sgcWebSockets paketinin içinde gelir, aşağıdan denemeyi indirin. | Aç | |
| Kullanıcı Kılavuzu (PDF) Kütüphanedeki her bileşeni kapsayan kapsamlı kılavuz. | Aç |