Containers
LLM Launcher → Containers is de plek waar alles wat u hebt gestart samenkomt: draaiende en gestopte containers, gegroepeerd zoals ze zijn uitgerold, plus de Sparkrun-workloads die helemaal geen containers zijn.
De twee tabbladen
| Tabblad | Inhoud |
|---|---|
| Containers | Docker-containers op uw apparaten, gegroepeerd. |
| Sparkrun-workloads | Inferentie-uitvoeringen over meerdere nodes op DGX Spark-clusters. Zie Sparkrun-clusters. |
Dezelfde twee tabbladen staan op het eigen tabblad Containers van een applicatie, beperkt tot die applicatie.
De containertabel
Containers die samen zijn uitgerold, worden getoond als één groepsrij. Een engine met zijn Open WebUI en zijn LiteLLM-gateway is een groep; een VSS-pijplijn ook.
- De kolom Status toont één badge voor een enkele container. Voor een groep toont hij Meerdere — wijs die aan om de status van elke onderliggende container te zien, met per container een start-/stopknop.
- Aantal actief toont hoeveel containers van de groep draaien.
- Er verschijnt een waarschuwingsdriehoek wanneer een apparaat in de groep niet verbonden is: "Apparaat/apparaten is momenteel niet verbonden met Cordatus. De apparaten moeten verbonden zijn voor volledige functionaliteit."
Containerstatussen
| Status | Betekenis |
|---|---|
| actief | Draait en bedient. |
| exited | Gestopt. |
| Voorbereiden | Het apparaat zet de container op. |
| Model voorbereiden | De gewichten worden nog opgehaald of klaargezet. |
| Downloaden | De image wordt opgehaald. Containerinformatie is pas beschikbaar als dat klaar is. |
| Meerdere | Groepsrij — de onderliggende containers hebben verschillende statussen. |
Kolommen aanpassen
Het kolomicoon in de subkop opent een paneel waarin u kolommen kunt slepen om te herordenen en klikken om te tonen of te verbergen, met Alles selecteren en Herstellen. Uw indeling wordt per gebruiker onthouden.
Zoeken en selecteren
- De zoekfunctie in de subkop filtert de hele tabel.
- Selectievakjes op rijniveau selecteren containers; zodra er een selectie is, verschijnt Geselecteerde verwijderen in de kop.
Rij-acties
| Actie | Wat het doet |
|---|---|
| Openen | Opent het groepspaneel met elke container erin. |
| Dupliceren | Start een nieuwe uitrol met de configuratie van deze container al ingevuld, zodat u één ding kunt wijzigen en opnieuw kunt starten. |
| Starten | Start elke gestopte container in de groep. |
| Stoppen | Stopt elke draaiende container in de groep. |
| Verwijderen | Verwijdert de containers. |
Uitgeschakelde knoppen zeggen altijd waarom, in plaats van stilletjes niets te doen — "Container(s) al gestopt", "Alle container(s) draaien al", "Apparaatverbinding niet beschikbaar", "U hebt geen rechten om te dupliceren".
Een container dupliceren
Dupliceren kopieert geen container — het opent de startwizard met alles waarmee het origineel is aangemaakt al ingevuld: hetzelfde apparaat, dezelfde image, model, GPU-selectie, hostlimieten en overschrijvingen. Er start niets tot u op Omgeving starten drukt.
Gebruik het om één ding te wijzigen en het opnieuw te draaien — een andere kwantisatie, een langere context, een andere GPU-verdeling — zonder de hele wizard een tweede keer te doorlopen. Geef de kopie een eigen Omgevingsnaam, of laat die leeg zodat Cordatus er een genereert; dan zijn de twee op deze pagina makkelijk uit elkaar te houden.
Verwijderen
Verwijderen vraagt u DELETE in het bevestigingsveld te typen — iets anders wordt niet geaccepteerd.
Bezitten de containers volumes, dan somt Cordatus die eerst op en biedt Paden weergeven en Volumes verwijderen overslaan:
Het verwijderen van deze bestanden kan tot onbedoeld of instabiel systeemgedrag leiden. Sla de volumes over als u het niet zeker weet.
Binnen een groep
Openen toont elke container in de groep, met een zoekveld voor grote groepen en per container:
- start-/stop-/verwijderknoppen, met dezelfde eerlijke uitgeschakelde toestanden;
- Containerinformatie, dat het detailpaneel opent;
- een markering Privé / Openbaar bij de adressen;
- een markering Toegewezen bij containers die uit een andere groep zijn geleend — die kunnen hier niet worden verwijderd ("Deze container is toegewezen vanuit een andere containergroep").
Het paneel kan worden vergroot naar Volledig scherm.
Het detailpaneel
Drie tabbladen:
Logs
De live uitvoer van de container, gestreamd. Kopiëren zet de zichtbare log op uw klembord.
Parameters
Elke configuratiewaarde waarmee de container is aangemaakt — image, opdracht, opties, omgevingsvariabelen, engine-vlaggen, volumes.
Poorten
Elke opengestelde poort, met:
- Lokale en Globale adressen;
- Kopiëren en Openen;
- Openbaar bereikbaar maken → URL genereren, dat voor die poort een openbare URL aanmaakt.
Cordatus vraagt om een subdomein: typ er zelf een (kleine letters, 4–63 tekens, letters,
cijfers en koppeltekens) of druk op Random om er een te laten genereren. Het resultaat ziet
eruit als
https://<subdomein>.tunnel.cordata.ai; - Opnieuw genereren voor een bestaande — er wordt gevraagd of het subdomein hetzelfde moet blijven of dat er een nieuw moet komen — en Openbare URL sluiten om hem in te trekken;
- Nog een poort openstellen / Poort toevoegen om iets nieuws te publiceren;
- Applicatienaam, zodat de URL herkenbaar is.
Voorbeelden van API-gebruik
Voor een draaiende engine toont Voorbeelden van API-gebruik kant-en-klare fragmenten om hem aan te roepen:
- een snelle aanroep;
- een voorbeeld van een OpenAI-compatibele client;
- Openen met WebUI om de interactieve interface te starten.
Vereist het endpoint geen authenticatie, zet de sleutel dan op een lege string.
De knop is uitgeschakeld zolang de container niet draait ("De container moet draaien om API-gebruik te bekijken").
Sparkrun-workloads
Het tweede tabblad toont uitvoeringen over meerdere nodes:
| Kolom | Betekenis |
|---|---|
| Workload | De receptnaam, met TP= eronder. |
| Status | Live, wordt gestart, gestopt, mislukt. |
| Meerdere nodes | Of hij zich over meer dan één node uitstrekt. |
| Model | De bediende modelnaam. |
| Endpoint | De bedienende poort. (aangenomen) betekent dat de poort is teruggevallen op de standaardwaarde van de engine en nooit is gemeld. |
Acties: Workload starten, Workload stoppen, Starten annuleren, Workload verwijderen (DELETE typen) en Workloaddetails.
Het detailpaneel bevat Overzicht, Logs (één lezer per node, elke regel gelabeld met de node waar hij vandaan komt), Poorten, Toegangs-URL's, Engine-argumenten, Omgevingsvariabelen (waarden gemaskeerd) en de Recept-YAML.
Hebt u er nog nooit een gestart, dan legt het tabblad uit hoe: gebruik Sparkrun starten bij een applicatie.
Apparaten die niet verbonden zijn
Containers op een offline apparaat blijven vermeld, met hun laatst bekende status, en elke actie erop is uitgeschakeld. Zodra het apparaat weer verbinding maakt, zijn ze weer bedienbaar.
Systeemcontainers
Sommige containers zijn gemarkeerd als noodzakelijk voor de werking van Cordatus zelf. Ze worden getoond zodat u weet dat ze er zijn, en zijn beschermd tegen achteloos verwijderen.