Ollama Local LLM

Ejecuta modelos de lenguaje de código abierto localmente desde tus aplicaciones Delphi, C++ Builder y .NET. La inferencia se mantiene privada, sin conexión y on-premise, ejecutándose en tu propio hardware sin necesidad de una API en la nube.

TsgcHTTP_API_Ollama

Cliente REST de Ollama para chat completions locales, embeddings y gestión de modelos.

Clase del componente

TsgcHTTP_API_Ollama

Protocolo

Ollama REST API sobre HTTP

Plataformas

Windows, macOS, Linux, iOS, Android

Edición

Enterprise (add-on de IA)

Coloca el componente, apúntalo a localhost, listo

Ollama se ejecuta localmente y no necesita clave de API. Configura OllamaOptions.BaseUrl con tu servidor local (por defecto http://localhost:11434/api), luego llama a _CreateMessage o construye un TsgcOllamaClass_Request_ChatCompletion y llama a CreateMessage.

uses
  sgcHTTP_API_Ollama;

var
  Ollama: TsgcHTTP_API_Ollama;
begin
  Ollama := TsgcHTTP_API_Ollama.Create(nil);
  // Local server, no API key needed
  Ollama.OllamaOptions.BaseUrl := 'http://localhost:11434/api';

  // Simple one-shot message
  Memo1.Lines.Text := Ollama._CreateMessage(
    'llama3',
    'What are the benefits of WebSockets?');

  // Streaming — handle OnHTTPAPISSE per chunk
  Ollama.OnHTTPAPISSE := HandleSSE;
  Ollama._CreateMessageStream(
    'llama3',
    'Summarise RFC 6455');
end;

procedure TForm1.HandleSSE(Sender: TObject;
  const aEvent, aData: string;
  var Cancel: Boolean);
begin
  Memo1.Lines.Add(aEvent + ': ' + aData);
end;
// uses: sgcHTTP_API_Ollama
TsgcHTTP_API_Ollama *Ollama = new TsgcHTTP_API_Ollama(this);
// Local server, no API key needed
Ollama->OllamaOptions->BaseUrl = "http://localhost:11434/api";

// Simple one-shot message
Memo1->Lines->Text = Ollama->_CreateMessage(
  "llama3",
  "What are the benefits of WebSockets?");

// Streaming — OnHTTPAPISSE fires per chunk
Ollama->OnHTTPAPISSE = HandleSSE;
Ollama->_CreateMessageStream(
  "llama3",
  "Summarise RFC 6455");
using esegece.sgcWebSockets;

var ollama = new TsgcHTTPAPI_Ollama();
// Local server, no API key needed
ollama.OllamaOptions.BaseUrl = "http://localhost:11434/api";

// Simple one-shot message
Console.WriteLine(ollama._CreateMessage(
  "llama3",
  "What are the benefits of WebSockets?"));

// Streaming via Server-Sent Events
ollama.OnHTTPAPISSE += (sender, ev, data, cancel) => Console.Write(data);
ollama._CreateMessageStream(
  "llama3",
  "Summarise RFC 6455");

Qué incluye

Clases tipadas de petición/respuesta para chat completions y embeddings, además de gestión de modelos y streaming sobre Server-Sent Events.

Mensajes y chat

CreateMessage envía un TsgcOllamaClass_Request_ChatCompletion tipado y devuelve una respuesta parseada. _CreateMessage, _CreateMessageWithSystem y _CreateMessageStream son atajos en string, con los deltas de streaming entregados a través de OnHTTPAPISSE.

Embeddings

CreateEmbeddings convierte el texto de entrada en un vector denso usando un modelo de embedding descargado localmente como nomic-embed-text o mxbai-embed-large, devolviendo un TsgcOllamaClass_Response_Embeddings.

Modelos

Gestiona los modelos en tu máquina: _GetModels y _GetTags listan lo que está disponible, _ShowModel lee los detalles del modelo, _PullModel descarga desde la librería de Ollama y _DeleteModel elimina un modelo local.

Local y privado

Cada petición apunta a un servidor Ollama local (por defecto http://localhost:11434/api), así que ningún dato sale de tu red y no se requiere clave de API. Apunta OllamaOptions.BaseUrl a una instancia remota o en contenedor cuando lo necesites.

Fiabilidad y diagnóstico

CircuitBreaker cortocircuita las peticiones cuando el servidor no está sano; ReadTimeout y TLSOptions ajustan la capa HTTP/HTTPS; OnHTTPAPIException notifica fallos; OnHTTPAPISSE hace streaming de Server-Sent Events.

Especificaciones y referencias

Fuentes autorizadas de los protocolos que implementa este componente.

Documentación y demos

Accede a la referencia del componente, descarga el proyecto demo listo para ejecutar y la versión de prueba.

Ayuda en línea — Ollama Referencia completa de propiedades, métodos y eventos de este componente.
Proyecto demo — Demos\AI\Ollama Proyecto de ejemplo listo para ejecutar. Se incluye dentro del paquete sgcWebSockets — descarga la prueba abajo.
Manual de usuario (PDF) Manual completo que cubre cada componente de la biblioteca.

¿Listo para ejecutar LLM locales con Ollama?

Descarga la prueba gratuita y empieza a construir en minutos.