Własny serwer OllamaGateway

O OllamaGateway

OllamaGateway został stworzony dla prywatnej infrastruktury AI. Jeśli chcesz mieć uwierzytelnianie API, audyt żądań, modele wirtualne oraz przyjazne dla zespołu funkcje sterowania na bazie Ollamy, zalecaną metodą uruchomienia jest wdrożenie lokalne.

MIT licensed Docker Pulls Website
Pulpit GitHub
Polecane
Uruchom w Docker

Najpierw zainstaluj Docker. Następnie uruchom następujące polecenia w powłoce systemu Linux:

image=aiursoft/ollamagateway
appName=ollamagateway
sudo docker pull $image
sudo docker run -d --name $appName --restart unless-stopped -p 5000:5000 -v /var/www/$appName:/data $image

Spowoduje to uruchomienie serwera sieciowego pod adresem http://localhost:5000, gdzie będziesz mógł przetestować aplikację.

Domyślna nazwa użytkownika to: admin@default.com, a domyślne hasło to: admin123.

Kontekst kontenera
Właściwość Wartość
Obraz aiursoft/ollamagateway
Porty 5000
Ścieżka do pliku wykonywalnego /app
Ścieżka danych /data
Ścieżka konfiguracji /data/appsettings.json
Uruchom w Ubuntu

Poniższy skrypt zainstaluje lub zaktualizuje tę aplikację na serwerze Ubuntu. Obsługuje Ubuntu 25.04.

curl -sL https://github.com/aiursoftweb/ollamaGateway/raw/master/install.sh | sudo bash

lub z niestandardowym portem:

curl -sL https://github.com/aiursoftweb/ollamaGateway/raw/master/install.sh | sudo bash -s 8080
Systemd /opt/apps
Dlaczego wdrożenie lokalne

Przechowuj podpowiedzi, klucze API, dzienniki użytkowania i trasowanie modeli wewnątrz granic własnej infrastruktury.

Jest to szczególnie przydatne w przypadku obsługi zespołu, narzędzi wewnętrznych lub autonomicznych agentów przez endpoint zgodny z OpenAI.

Rozwój i uruchomienie ręczne
Wymagania wstępne
Uruchom ręcznie
  1. Wykonaj polecenie `npm install` w folderze `wwwroot`, aby zainstalować zależności.
  2. Wykonaj polecenie `dotnet run`, aby uruchomić aplikację.
  3. Odwiedź http://localhost:5000.
Uruchom w Visual Studio
  1. Otwórz plik `.sln` w ścieżce projektu.
  2. Naciśnij `F5`, aby uruchomić aplikację.