Et teknisk fif til Delphi AI Developer (Code4Delphi) vedr. brug af Ollama offline

[Soren Jensen]

Hej alle,

Jeg har bokset noget med at få sat AI chat (og Code Completion) op i 13.1, med at bruge den offline version af Ollama jeg har installeret på en SQL 2025 server (WIndows 11 VM) hvor jeg har et RTX A400 kort til rådighed, og til at kunne kalde den fra min udviklings maskine (også en Win 11 VM).

Det virker fint med kaldene inde fra mit delphi program, med den standard opsætning (http://{ip n0}:11434/api/chat) der er under Ollama på Offline fanen, men når man skal bruge chat delen, virker det ikke.

I stedet bruger jeg ChatGpt delen på Online fanen til at kalde Ollama med følgende 

Base Url = http://{ip no}:11434/v1/chat/completions 

Model = qwen2.5-coder:3b

APIKey = sk-1234567890abcdefghijklmnopqrstuv

Nøglen er, som du nok har set, falsk og den skal kun bruges til at snyde funktionen til at kalde Ollama (som ikke skal bruge en nøgle) fra ChatGpt delen, der kræver en nøgle.

I stedet for {IP No} bruger jeg rent faktisk FQDN for SQL serveren og det virker fint. Og med den lille qwen2.5-coder:3b er der plads til 100% behandling på RTX kortet, der kun har 4gb.

Jeg håber det kan hjælpe andre.

Hilsen

Søren Jensen

Lsc-Dk