Tự lưu trữ OllamaGateway

Giới thiệu về OllamaGateway

OllamaGateway được xây dựng cho hạ tầng AI riêng tư. Nếu bạn muốn xác thực API, kiểm toán yêu cầu, mô hình ảo và các điều khiển thân thiện với nhóm trên nền Ollama, thì triển khai cục bộ là cách được khuyến nghị để chạy nó.

MIT licensed Docker Pulls Website
Bảng điều khiển GitHub
Đề xuất
Chạy trong Docker

Trước tiên, hãy cài đặt Docker. Sau đó chạy các lệnh sau trong shell Linux:

image=aiursoft/ollamagateway
appName=ollamagateway
sudo docker pull $image
sudo docker run -d --name $appName --restart unless-stopped -p 5000:5000 -v /var/www/$appName:/data $image

Điều đó sẽ khởi động máy chủ web tại http://localhost:5000 và bạn có thể kiểm tra ứng dụng.

Tên đăng nhập mặc định là: admin@default.com, và mật khẩu mặc định là: admin123.

Bối cảnh Container
Thuộc tính Giá trị
Hình ảnh aiursoft/ollamagateway
Cổng 5000
Đường dẫn nhị phân /app
Đường dẫn dữ liệu /data
Đường dẫn cấu hình /data/appsettings.json
Chạy trên Ubuntu

Script sau sẽ cài đặt/cập nhật ứng dụng này trên máy chủ Ubuntu của bạn. Hỗ trợ Ubuntu 25.04.

curl -sL https://github.com/aiursoftweb/ollamaGateway/raw/master/install.sh | sudo bash

Hoặc với cổng tùy chỉnh:

curl -sL https://github.com/aiursoftweb/ollamaGateway/raw/master/install.sh | sudo bash -s 8080
Systemd /opt/apps
Tại sao triển khai cục bộ

Giữ các lời nhắc, khóa API, nhật ký sử dụng và định tuyến mô hình trong phạm vi cơ sở hạ tầng của chính bạn.

Điều này đặc biệt hữu ích khi phục vụ một nhóm, các công cụ nội bộ hoặc các tác nhân tự động qua một điểm cuối tương thích OpenAI.

Phát triển & Chạy thủ công
Điều kiện tiên quyết
Chạy thủ công
  1. Thực hiện `npm install` tại thư mục `wwwroot` để cài đặt các phụ thuộc.
  2. Thực thi `dotnet run` để chạy ứng dụng.
  3. Truy cập http://localhost:5000.
Chạy trong Visual Studio
  1. Mở tập tin `.sln` trong đường dẫn dự án.
  2. Nhấn `F5` để chạy ứng dụng.