Ana içeriğe geç

Servis Katmanı

Servis katmanı, modellerinizin önünde duran iki servisten oluşur:

  • bir API gateway — LiteLLM: anahtarları, kotaları ve istek loglarıyla, istediğiniz sayıda modelin önünde tek bir OpenAI uyumlu uç nokta;
  • bir sohbet arayüzü — Open WebUI, bir gateway'e ya da herhangi bir OpenAI uyumlu uç noktaya yönlendirilmiş hâlde.

Bunlar bir model başlatmasıyla birlikte ayağa kalkabilir (Başlatma Rehberi'ndeki Erişim adımına ya da AI Başlatma'daki kimlik bilgileri bölümüne bakın) ya da LLM Başlatıcı → Servis Katmanı sayfasından tamamen bağımsız olarak yönetilebilir.

İki panel, çalışan bir gateway, Model kaydet ve Anahtar ver

 

Sayfa​

Servis Katmanı sayfası tek bir cihazın değil, hesabınızın özetidir: modeller nerede çalışırsa çalışsın önlerinde tek bir uç nokta. Alt başlık kaç cihazınıza erişilebildiğini bildirir ve bazıları erişilemezse bir not belirir:

{n} cihaz çevrimdışı, bu yüzden üzerlerinde çalışan hiçbir şey burada listelenmiyor.

Bu açıkça söylenir, çünkü kapalı bir cihazdaki gateway görülemez ve bunu "gateway yok" diye bildirmek ikinci bir gateway kurmaya davet olurdu.

İki panel: API gateway ve Sohbet arayüzü, her biri çalışan sayısıyla.

API gateway (LiteLLM)​

LiteLLM: anahtarları, kotaları ve istek loglarıyla, istediğiniz sayıda modelin önünde tek bir OpenAI uyumlu uç nokta. Cihaz başına bir tane — modeller geldikçe ve gittikçe içine kaydedilir.

Kurulum​

Gateway kur şunları ister:

  • Şu cihazda kur — hangi cihaz.
  • Kimlik bilgileri — master key ve yönetici bilgileri, kurulumdan önce gösterilir.
  • Genel URL — isteğe bağlı olarak bu ağın dışından erişilebilir.
  • Şimdi bir model kaydet — isteğe bağlı olarak hâlihazırda servis veren bir modele yönlendirin.
uyarı

Kimlik bilgilerini kurulumdan önce kopyalayın — Cordatus bunları saklamaz. Var olan bir gateway yeniden kullanılıyorsa o kendi bilgilerini korur ve buradakiler yok sayılır.

Süren bir kurulum panelde bir satır olarak görünür ve kendini anlatır; çünkü dışarıdan bakınca imaj indirmek ile takılıp kalmak aynı görünür. Satır, konteynerin kendisi görünene kadar durur.

Seçilen cihazda zaten bir gateway çalışıyorsa diyalog bunu söyler ve ikinci bir tane kurmak yerine onu yeniden kullanır. Yine de ek bir tane kurmak mümkündür ve bu sessizce Yine de ek bir gateway kur olarak sunulur.

Bir gateway satırı​

  • Adı, cihazı ve portu.
  • Sunulan — içine kaydedilmiş her model, rozet olarak; ya da henüz yok.
  • Aç — arayüzünü yeni sekmede açar.

İki durum gizlenmez, bildirilir:

RozetAnlamı
yanıt vermiyorCihazda kayıtlı ama yanıt vermiyor — Cordatus dışında durdurulmuş ya da silinmiş. Kaydı korunur, böylece Konteynerler sayfasından yeniden başlatılabilir.
yönetilemezMaster key'i ortamında olmadığı için Cordatus bu gateway'e model kaydedemez veya anahtar veremez. Doğrudan LiteLLM arayüzünü kullanın.

Model kaydet​

Model kaydet, hâlihazırda servis veren bir modeli gateway'in arkasına alır. Hiçbir şey başlatılmaz — modelin zaten çalışıyor olması gerekir.

Nerede olduğunu şöyle tarif edersiniz:

  • Bilgileri şuradan al — çalışan bir Konteyner, bir Sparkrun iş yükü, bu cihazdaki bir port ya da tam bir URL.
  • İstemcilerin göndereceği ad — istemcilerin gateway'den isteyeceği ad. Bunu gerçek ağırlıklardan ayrı tutmak, ileride hiçbir şeyi kırmadan ağırlıkları değiştirmenizi sağlar.
  • Arka ucun yanıt verdiği ad — motorun kendi --served-model-name değeri. Boş bırakılırsa yukarıdaki ad her ikisi için de kullanılır.

Anahtar ver​

Anahtar ver, LiteLLM virtual key'leri oluşturur. Her birinin bir adı, isteğe bağlı bir bütçesi ve bir kapsamı vardır — Gateway üzerindeki tüm modeller ya da yalnızca tek bir model.

Bunları istemcilerinize master key yerine verin: her biri yapılandırdığınız gibi sınırlıdır ve gateway'den iptal edilebilir.

Bir anahtar satırında adı, üretilen değeri (göz simgesiyle görünür olur, düğmeyle kopyalanır — değer burada üretilir ve Cordatus onu saklamaz), isteğe bağlı bir bütçe ve yalnızca bu model kutusu bulunur. + Anahtar ekle yeni bir satır ekler, çöp kutusu satırı kaldırır.

uyarı

Yalnızca bu model işaretliyse Anahtarların kapsamı alanında bir model seçilmelidir. Alan Gateway üzerindeki tüm modeller olarak bırakılırsa anahtar sessizce genişletilmez, reddedilir: "... adlı virtual key OLUŞTURULMADI: bu modele kapsanmış durumda ve model adı çözümlenemedi. Kapsamsız oluşturmak gateway üzerindeki her modele erişim vermiş olurdu."

Sohbet arayüzü (Open WebUI)​

Ek bir gateway kurma, ardından sohbet arayüzü kurma ve ona hesap ekleme

 

Open WebUI, bir gateway'e ya da herhangi bir OpenAI uyumlu uç noktaya yönlendirilir. Kendine ait bir modele ihtiyacı yoktur, bu yüzden tek bir arayüz gateway'in sunduğu her şeyin önünde durabilir.

Kurulum​

Sohbet arayüzü kur şunları ister:

  • Şu cihazda kur — hangi cihaz.
  • Şuna yönlendir — bir Gateway, çalışan bir Model container'ı, bir Sparkrun iş yükü ya da yazacağınız bir base URL. Bir gateway için ayrıca bir API anahtarı verebilirsiniz; boş bırakılırsa kapsamlı virtual key kullanılır. Anahtar arayüze OPENAI_API_KEY olarak geçirilir.
  • Admin hesabı — e-posta ve şifre, bir kez gösterilir. Tüm şifreleri sıfırla bunları yeniden üretir.
  • Genel URL — isteğe bağlı.
  • Open WebUI hesapları — arayüz açıldıktan sonra oluşturulacak ek kullanıcılar; her birinde bir ad, bir e-posta, üretilmiş bir şifre ve bir rol (user ya da admin) bulunur. E-postası ya da şifresi olmayan satır atlanır ve diyalog bunu söyler.

Konuşacağı bir şey seçilmezse diyalog "Önce onun konuşacağı bir şey seçin." der.

Hesap ekle​

Hesap ekle, insanların yönetici hesabını paylaşmak yerine kendi e-postalarıyla giriş yapabilmesi için ek Open WebUI kullanıcıları oluşturur.

not

Open WebUI'de yönetici oturumu olmadan hesap eklemenin bir yolu yoktur ve Cordatus yönetici bilgilerini hiçbir zaman saklamamıştır — bu yüzden diyalog bunları ister. Kaybolduysa Tüm şifreleri sıfırla seçeneği vardır.

Kimlik bilgileri, her yerde​

Bir kurulum şifreli bir şey oluşturduğunda Cordatus, ortam başlar başlamaz Servis katmanı kimlik bilgilerinizi kaydedin diyalogunu gösterir:

  • Open WebUI yönetici hesabı — adres, e-posta, arayüz kullanıcı adı ve şifresi. Bunlarla giriş yapın; ilk çalıştırmadaki kayıt adımı sizin için zaten tamamlanmıştır.
  • LiteLLM gateway — adres, master key, istemciler için model adı, imaj ve portlar.
  • Virtual key'ler — anahtar başına bir satır.
  • Ek hesaplar — ek Open WebUI hesabı başına bir satır. Reddedilen bir hesap (yinelenen adres ya da 8 karakterden kısa şifre) kurulum logunda adıyla belirtilir.

Tümünü kopyala hepsini alır.

uyarı

Yalnızca bir kez gösterilir. Cordatus bu değerleri saklamaz — diyalogu kapatmadan önce kopyalayın. Adreslerin kendisi daha sonra her konteynerin Portlar sekmesinde görünmeye devam eder.

Bir gateway oluşturulmak yerine yeniden kullanıldıysa diyalog bunu söyler: yeni bir gateway ve yeni bir şifre oluşturulmadığı için, o gateway'in kurulduğu kimlik bilgileriyle giriş yapın.

Bu konteynerler nerede görünür​

Servis katmanının kurduğu her şey, Konteynerler sayfasında sıradan bir konteyner grubudur: gateway ile birlikte PostgreSQL, Redis ve Prometheus konteynerleri ve Open WebUI konteyneri. Başlatma, durdurma, silme, loglar ve portlar orada her zamanki gibi çalışır.

not

Bir gateway'in ilk açılışı veritabanı migration'larını çalıştırır ve birkaç dakika sürer. Bunlar bitene kadar yanıt vermez.