Jak nastavit Windows Ollama tak, aby byla dostupná pro ostatní počítače v lokální síti

Ukážeme si jednoduchý způsob, jak nastavit NGINX proxy manager tak, aby byla vaše lokální instalace Ollama dostupná v lokální síti.

Krok 1: Instalace Ollama pro Windows

Návod předpokládá, že Ollama je nainstalována ve Windows verzi. Stačí tedy stáhnout a spustit instalátor. Po instalaci a spuštění je Ollama dostupná výhradně na adrese http://127.0.0.1:11434 a pokud adresa vašeho počítače v lokální síti je např. 192.168.31.146, Ollama na portu 11434 nebude fungovat. To se pokusím napravit tím, že nainstalujeme Proxy manager, který nám pomůže adresy směrovat.

Krok 2: Instalace NGINX Proxy Manager

Spustíme Docker Desktop a vytvoříme nový soubor c:/nginx/docker-compose.yml

version: '3'
services:
  app:
    image: 'jc21/nginx-proxy-manager:latest'
    container_name: nginx-proxy-manager
    ports:
      - '80:80'
      - '81:81'
      - '443:443'

Nyní spustíme Terminál ve složce c:/nginx a spustíme instalaci NGINX containeru.

docker compose up

Po instalaci je Proxy Manager dostupný na adrese http://localhost:81/

Přihlásíme se pomocí defaultních přihlašovacích údajů:

Email:    admin@example.com
Password: changeme

Po přihlášení nás program vyzve ke změně přihlašovacích údajů.

Krok 3: Nastavení Proxy host pro Ollama

klikneme na menu "Proxy hosts"
dále na tlačítko "Add Proxy host"
Domain Names: 192.168.31.146 (tuto adresu nahraďte síťovou adresou počítače na kterém běží Ollama!)
Forward Hostame / IP: doplníme host.docker.internal
Forward Port: 11434
Povolíme Cache Assets, Websockets Support a klineme na Save

Forward Hostname host.docker.internal je použit hlavně z toho důvodu, že NGINX nám běží v docker containeru s vlastní síťovou strukturou, takže 127.0.0.1 nám v takovém případě fungovat nebude.

Krok 4: Nastavení Windows Firewallu

Nyní musíme povolit přístup k počítači z ostatních zařízení v naší síti. My si ukážeme jak nastavit pravidlo pro Windows Defender Firewall. Pokud používáte jiný firewall nebo antivirus, bude nutné povolit port 80 podobným způsobem.

Hotovo!

Nyní je Ollama dostupná na adrese vašeho počítače v lokální síti. Další postup už je na kreativitě každého výzkumníka. K Ollama Api můžete přistupovat jak ze specifických chatovacích aplikací, tak například při vývoji aplikací vlastních.