Serveerlaag

De serveerlaag bestaat uit de twee diensten die vóór uw modellen staan:

• een API-gateway — LiteLLM: één OpenAI-compatibel endpoint vóór een willekeurig aantal modellen, met sleutels, quota's en verzoeklogs;
• een chatinterface — Open WebUI, gericht op een gateway of op elk OpenAI-compatibel endpoint.

Ze kunnen samen met een modelstart omhoogkomen (zie de stap Toegang in de Starthandleiding, of het inloggegevensblok in AI-start), of volledig zelfstandig worden beheerd vanaf LLM Launcher → Serveerlaag.

De twee panelen, een draaiende gateway, Een model registreren en Sleutels uitgeven

 

---

De pagina

De pagina Serveerlaag is een overzicht van uw account, niet van één apparaat: één endpoint vóór de modellen, waar ze ook draaien. De subkop meldt hoeveel van uw apparaten bereikbaar zijn, en er verschijnt een notitie wanneer sommige dat niet zijn:

{n} apparaat/apparaten zijn offline, dus wat daarop draait, staat hier niet vermeld.

Dit wordt expliciet gezegd, omdat een gateway op een uitgeschakeld apparaat niet zichtbaar is en dat melden als "geen gateway" zou uitnodigen tot het uitrollen van een tweede.

Twee panelen: API-gateway en Chatinterface, elk met een teller van wat er draait.

---

API-gateway (LiteLLM)

LiteLLM: één OpenAI-compatibel endpoint vóór een willekeurig aantal modellen, met sleutels, quota's en verzoeklogs. Eén per apparaat — modellen worden erin geregistreerd zodra ze komen en gaan.

Er een uitrollen

Gateway uitrollen vraagt om:

• Uitrollen op — welk apparaat.
• Inloggegevens — de master key en beheerdersgegevens, getoond vóór het uitrollen.
• Openbare URL — optioneel bereikbaar van buiten dit netwerk.
• Nu een model registreren — optioneel richten op een model dat al draait.

waarschuwing

Kopieer de inloggegevens voordat u uitrolt — Cordatus slaat ze niet op. Wordt een bestaande gateway hergebruikt, dan behoudt die zijn eigen gegevens en worden deze genegeerd.

Een lopende uitrol verschijnt als een rij in het paneel en vertelt zelf wat er gebeurt, want van buitenaf ziet het ophalen van een image er precies zo uit als een vastloper. De rij blijft staan tot de container zelf verschijnt.

Draait er al een gateway op het gekozen apparaat, dan meldt het dialoogvenster dat en hergebruikt het die in plaats van een tweede uit te rollen. Een extra uitrollen kan nog steeds, en wordt bescheiden aangeboden als Toch een extra gateway uitrollen.

Een gateway-rij

• De naam, het apparaat en de poort.
• Bedient — elk model dat erin is geregistreerd, als badges, of nog niets.
• Openen — opent de interface in een nieuw tabblad.

Twee toestanden worden gemeld in plaats van verborgen:

Badge	Betekenis
antwoordt niet	Geregistreerd op het apparaat maar reageert niet — buiten Cordatus om gestopt of verwijderd. De registratie blijft behouden, zodat hij opnieuw kan worden gestart vanaf de pagina Containers.
niet beheerbaar	De master key staat niet in de omgeving, dus Cordatus kan er geen modellen registreren of sleutels uitgeven. Gebruik de LiteLLM-interface rechtstreeks.

Een model registreren

Een model registreren zet een model dat al draait achter de gateway. Er wordt niets gestart — het model moet al draaien.

U beschrijft waar het staat:

• Neem de gegevens over uit — een draaiende Container, een Sparkrun-workload, een poort op dit apparaat, of een volledige URL.
• Naam die clients sturen — waar clients de gateway om vragen. Die apart houden van de echte gewichten laat u ze later verwisselen zonder iets te breken.
• Naam waarop de backend antwoordt — de eigen --served-model-name van de engine. Leeg gelaten wordt de naam hierboven voor beide gebruikt.

Sleutels uitgeven

Sleutels uitgeven maakt LiteLLM virtual keys aan. Elke sleutel heeft een naam, een optioneel budget en een bereik — Elk model op de gateway of alleen één model.

Geef deze aan uw clients in plaats van de master key: elke sleutel is beperkt zoals u die hebt ingesteld en kan vanaf de gateway worden ingetrokken.

Een sleutelrij draagt zijn naam, zijn gegenereerde waarde (zichtbaar via het oogje, te kopiëren met de knop — de waarde ontstaat hier en Cordatus bewaart hem niet), een optioneel budget en een selectievakje alleen dit model. + Sleutel toevoegen voegt een rij toe, de prullenbak verwijdert er een.

pas op

Staat alleen dit model aan, dan moet er bij Bereik van de sleutels een model gekozen zijn. Blijft dat op Elk model op de gateway staan, dan wordt de sleutel geweigerd in plaats van stilzwijgend verbreed: "Virtual key ... is NIET aangemaakt: hij is beperkt tot dit model en de modelnaam kon niet worden herleid. Hem zonder bereik aanmaken zou toegang tot elk model op de gateway hebben gegeven."

---

Chatinterface (Open WebUI)

Een extra gateway uitrollen, dan een chatinterface uitrollen en er een account aan toevoegen

 

Open WebUI, gericht op een gateway of op elk OpenAI-compatibel endpoint. Hij heeft geen eigen model nodig, dus één interface kan alles bedienen wat de gateway aanbiedt.

Er een uitrollen

Een chatinterface uitrollen vraagt om:

• Uitrollen op — welk apparaat.
• Richt het op — een Gateway, een draaiende Modelcontainer, een Sparkrun-workload of een base-URL die u intypt. Voor een gateway kunt u ook een API-sleutel opgeven; leeg gelaten wordt de beperkte virtual key gebruikt. De sleutel gaat als OPENAI_API_KEY naar de interface.
• Adminaccount — e-mailadres en wachtwoord, eenmalig getoond. Alle wachtwoorden opnieuw instellen genereert ze opnieuw.
• Openbare URL — optioneel.
• Open WebUI-accounts — extra gebruikers die worden aangemaakt zodra de interface is opgestart, elk met een naam, een e-mailadres, een gegenereerd wachtwoord en een rol (user of admin). Een rij zonder e-mailadres of wachtwoord wordt overgeslagen, en het dialoogvenster meldt dat.

Wordt er niets gekozen om mee te praten, dan zegt het dialoogvenster "Kies eerst iets om mee te praten."

Accounts toevoegen

Accounts toevoegen maakt extra Open WebUI-gebruikers aan, zodat mensen met hun eigen e-mailadres inloggen in plaats van het beheerdersaccount te delen.

notitie

Open WebUI kan geen account toevoegen zonder beheerderssessie, en Cordatus heeft de beheerdersgegevens nooit opgeslagen — daarom vraagt dit dialoogvenster erom. Alle wachtwoorden opnieuw instellen is beschikbaar als ze verloren zijn gegaan.

---

Inloggegevens, overal

Wanneer een uitrol iets met een wachtwoord aanmaakt, toont Cordatus direct na het starten van de omgeving het dialoogvenster Sla de inloggegevens van uw serveerlaag op:

• Open WebUI-beheerdersaccount — adres, e-mailadres, gebruikersnaam en wachtwoord van de interface. Log hiermee in; de registratiestap bij de eerste keer opstarten is al voor u gedaan.
• LiteLLM-gateway — adres, master key, modelnaam voor clients, image en poorten.
• Virtual keys — één rij per sleutel.
• Extra accounts — één rij per extra Open WebUI-account. Een geweigerd account (dubbel adres of een wachtwoord korter dan 8 tekens) wordt in het uitrol-log met naam genoemd.

Alles kopiëren neemt het geheel mee.

waarschuwing

Slechts eenmalig getoond. Cordatus slaat deze waarden niet op — kopieer ze voordat u het dialoogvenster sluit. De adressen zelf blijven daarna zichtbaar op het tabblad Poorten van elke container.

Is een gateway hergebruikt in plaats van aangemaakt, dan meldt het dialoogvenster dat: er is geen nieuwe gateway en geen nieuw wachtwoord aangemaakt, dus log in met de gegevens waarmee die gateway is uitgerold.

---

Waar deze containers verschijnen

Alles wat de serveerlaag uitrolt, is een gewone containergroep op de pagina Containers: de gateway plus de PostgreSQL-, Redis- en Prometheus-containers, en de Open WebUI-container. Starten, stoppen, verwijderen, logs en poorten werken daar zoals gebruikelijk.

notitie

De eerste keer opstarten van een gateway voert databasemigraties uit en duurt enkele minuten. Tot ze klaar zijn, antwoordt hij niet.