NVIDIA Run:ai
Cordatus installeert NVIDIA Run:ai op uw eigen GPU-servers. U hoeft Kubernetes niet handmatig voor te bereiden: Cordatus controleert het apparaat, zet Kubernetes (RKE2) op, installeert Run:ai, maakt het Run:ai-paneel bereikbaar op een openbaar adres en laat andere apparaten als worker-nodes aan het cluster deelnemen. Zodra het cluster draait, toont LLM Launcher → Run:ai-clusters het met zijn nodes, GPU-gebruik en inference-endpoints.
Voordat u begint
| Vereiste | Details |
|---|---|
| GPU | Een NVIDIA-datacenter-GPU (bijvoorbeeld H100, H200, B200, B300, A100, L40S, L4). |
| Processorarchitectuur | x86_64 of aarch64. |
| Schijf | Ten minste 100 GiB vrij op de gegevenslocatie; 160 GiB of meer wordt aanbevolen. |
| Apparaatstatus | Het apparaat is Online en u hebt rechten om het te beheren. |
| Sudo-wachtwoord | Installeren, verwijderen en annuleren vereisen rootrechten op het apparaat. Als er geen sudo-wachtwoord in Cordatus is opgeslagen, wordt u erom gevraagd; het wordt alleen voor die actie gebruikt. |
| Internettoegang | Het apparaat moet de downloadhosts van Run:ai via poort 443 kunnen bereiken. |
- Jetson, GeForce-kaarten en vGPU kunnen Run:ai niet draaien. Deze apparaten kunnen hun GPU via Cordatus nog steeds tussen workloads delen.
- DGX Spark en werkstationkaarten met 22 GB of meer geheugen kunnen pas worden geïnstalleerd nadat u een waarschuwing accepteert: NVIDIA ondersteunt Run:ai daarop niet. Op DGX Spark werken GPU-fracties niet en krijgt elke workload de hele GPU.
Het Run:ai-venster openen
- Ga naar Apparaten.
- Open het ...-menu aan het einde van de apparaatrij.
- Klik op NVIDIA Run:ai.
Het venster opent met "Controleren of dit apparaat Run:ai kan draaien..." en toont daarna bovenaan een oordeel:
| Oordeel | Betekenis |
|---|---|
| Run:ai kan op dit apparaat worden geïnstalleerd. | Alle controles zijn geslaagd. Cordatus zet eerst Kubernetes (RKE2) op en installeert daarna Run:ai. Als Kubernetes al draait, wordt het hergebruikt. |
| Deze server kan Run:ai draaien zodra de onderstaande problemen zijn opgelost. | De hardware wordt ondersteund, maar sommige controles zijn mislukt. Elke mislukte controle vermeldt wat u moet oplossen. |
| Run:ai ondersteunt deze hardware niet. | Jetson, GeForce en vergelijkbare apparaten. |
| Dit apparaat kan Run:ai niet draaien. | Er is geen ondersteunde NVIDIA-GPU gevonden. |
Rechts tonen de panelen GPU's, GPU-fracties en Controles de details. Mislukte controles staan bovenaan, daarna de waarschuwingen. Klik op Opnieuw controleren nadat u iets op het apparaat hebt opgelost.
Wat wordt gecontroleerd
| Controle | Mislukt wanneer | Waarschuwt wanneer |
|---|---|---|
| Processorarchitectuur | Niet x86_64 of aarch64 | |
| GPU-model | Jetson, GeForce, TITAN; werkstationkaarten en DGX Spark (kan worden geaccepteerd) | De kaart staat niet op de lijst met bekende datacenterkaarten |
| GPU-virtualisatie | vGPU (alleen passthrough wordt ondersteund) | |
| Besturingssysteem | Niet Ubuntu 22.04 / 24.04 / 26.04, RHEL / Rocky / Alma 8.8+ / 9 / 10 of RHCOS (DGX OS telt als Ubuntu) | |
| Control groups (cgroup) | cgroup v1 (kan worden geaccepteerd; workloads krijgen dan alleen hele GPU's) | |
| CPU-kernen / Geheugen | Minder dan 20 kernen / minder dan 32 GiB | |
| Vrije schijfruimte | Minder dan 100 GiB vrij (kan worden geaccepteerd) | Minder dan 160 GiB vrij |
| Vereiste poorten | Een van 80, 443, 2379, 2380, 2381, 6443, 9345, 10250 is in gebruik | |
| Docker-netwerken | Een netwerk overlapt met 10.42.0.0/16 of 10.43.0.0/16 | |
| firewalld | firewalld is actief (RKE2 vereist dat het uit staat) | |
| NVIDIA Container Toolkit | Niet geïnstalleerd | |
| Internettoegang | De downloadhosts zijn niet bereikbaar | |
| Kubernetes | k3s, of een Kubernetes-versie buiten 1.35–1.37 |
GPU-fracties is alleen informatief. Run:ai werkt ook zonder; om een workload een deel van een GPU te geven, heeft het apparaat NVIDIA-driver 615 of nieuwer nodig, CUDA 13.4 of nieuwer, cgroup v2, de open NVIDIA-kernelmodule en moet MIG uitgeschakeld zijn.
Run:ai installeren
Vul de kaart Installatie in:
| Veld | Beschrijving |
|---|---|
| Paneeladres | De naam van het openbare adres van het Run:ai-paneel, bijvoorbeeld my-runai. U bereikt het paneel overal vandaan via Cordatus. 4–63 kleine letters, cijfers of koppeltekens; de naam wordt gecontroleerd terwijl u typt. |
| Clusternaam | De naam van het Run:ai-cluster. Kleine letters, cijfers en koppeltekens. |
| E-mailadres van de Run:ai-beheerder | Het account waarmee u zich aanmeldt bij het Run:ai-paneel. |
| Wachtwoord van de Run:ai-beheerder | Ten minste 12 tekens met hoofdletters en kleine letters, een cijfer en een van ! @ # $ + -. Gebruik Genereren voor een sterk wachtwoord. |
| Gegevenslocatie | Waar Kubernetes-images, modellen en volumes worden bewaard. Alleen interne schijven (geen netwerk- of USB-schijven). Deze kan na de installatie niet meer worden gewijzigd. |
| Modelmap | Waar modelgewichten (de Hugging Face-cache) worden bewaard. Standaard de map die LLM Launcher gebruikt. Bij het verwijderen wordt deze nooit gewist. |
| Worker-nodes (optioneel) | Andere apparaten die aan dit cluster deelnemen wanneer de installatie klaar is. Elk apparaat wordt gecontroleerd en toont Kan toetreden, Kan toetreden met uw akkoord of Kan niet toetreden, en krijgt een eigen gegevenslocatie en modelmap. |
Cordatus bewaart het wachtwoord van de Run:ai-beheerder niet. Sla het op voordat u begint; u meldt zich er bij het Run:ai-paneel mee aan.
Als een controle is mislukt maar kan worden geaccepteerd (schijfruimte, cgroup v1, DGX Spark of werkstation-GPU), vink dan het vakje Toch installeren eronder aan. Klik daarna op Run:ai installeren.
Voortgang van de installatie
De installatie duurt 30 tot 60 minuten. U kunt het venster sluiten; de installatie gaat door op het apparaat. De stappen worden een voor een getoond, met een live log:
- Apparaat voorbereiden
- Kubernetes (RKE2) installeren
- Wachten tot Kubernetes stabiel is
- Opslag instellen
- Certificaten aanmaken
- Run:ai-installatieprogramma downloaden
- Run:ai-voorcontroles
- Run:ai installeren
- Standaardproject aanmaken
Daarna treden de worker-nodes toe (Apparaat voorbereiden → Kubernetes (RKE2) installeren → Toetreden tot het cluster).
Laat het me weten wanneer de installatie eindigt stuurt één bericht wanneer de installatie klaar is, met een fout stopt of wordt geannuleerd. U kunt uw e-mailadres kiezen of elk kanaal dat u hebt toegevoegd onder Alarmen → Meldingskanalen (Slack, e-mail, webhook). Als u het venster sluit zonder er een te kiezen, vraagt Cordatus of het u op de hoogte moet houden.
- Installatie annuleren (twee keer klikken) stopt de installatie en verwijdert alles wat ze heeft opgezet.
- Als de installatie met een fout stopt, wordt de mislukte stap getoond. Installatie voortzetten gaat verder waar ze stopte; Installatie verwerpen verwijdert alles wat tot dan toe is geïnstalleerd.
Wanneer ze klaar is, toont het venster Run:ai is geïnstalleerd. met de paneel-URL, het e-mailadres van de beheerder, het cluster, het project en de gegevenslocatie. Klik op de URL en meld u aan met het wachtwoord dat u hebt gekozen.
Het cluster beheren
Open NVIDIA Run:ai opnieuw op het head-apparaat (of Beheren op de pagina Run:ai-clusters):
- Clusternodes — elke node met zijn rol (head / worker), aantal GPU's en status (Gereed, Toetreden..., Mislukt, Verlaten...). Gebruik Worker-nodes toevoegen → Toevoegen om meer apparaten te laten toetreden, en Verwijderen (twee keer klikken) om een worker eruit te halen. De workloads verhuizen naar andere nodes, daarna wordt Kubernetes ervan verwijderd. Een worker heeft een opgeslagen sudo-wachtwoord nodig en moet de head-node via de poorten 9345 en 6443 kunnen bereiken.
- Inference-endpoints — de inference-workloads die u in Run:ai hebt uitgerold. Openbare URL maken geeft een endpoint een openbaar adres via Cordatus; Openbare URL verwijderen sluit het.
- Verwijderen (twee keer klikken) verwijdert Run:ai en Kubernetes van de head en alle workers. Vink Verwijder ook de opgeslagen containerimages aan om ook hun schijfruimte vrij te maken. Modelmappen worden nooit verwijderd.
Wanneer u het venster op een worker-apparaat opent, toont het tot welk cluster het apparaat behoort en biedt het Cluster verlaten aan.
Een endpoint dat over meerdere nodes is verdeeld, is gemarkeerd als gedistribueerd. Om via een
openbare URL bereikbaar te zijn, moet de server ervan worden gestart met --root-path <prefix>; het
venster toont de prefix.
De pagina Run:ai-clusters
LLM Launcher → Run:ai-clusters toont elk Run:ai-cluster dat Cordatus op uw apparaten heeft geïnstalleerd. Wanneer de pagina opent, scant ze uw online apparaten één keer. Apparaten scannen voert de scan opnieuw uit, bijvoorbeeld voor een cluster dat werd geïnstalleerd voordat deze pagina bestond.
| Kolom | Betekenis |
|---|---|
| Cluster | De clusternaam, met de head-node eronder. |
| Nodes | Eén badge voor de head en voor elke worker. |
| Status | Online, Offline of Wordt verwijderd. |
| Run:ai-paneel | Link naar het paneel. |
| Endpoints | Hoeveel inference-endpoints gereed zijn. |
| Acties | Beheren en Verwijderen. |
Klik op de pijl van een rij om die uit te klappen:
- Nodes — Node, Rol, Apparaat, IP, GPU in gebruik (gebruikt / totaal) en Status, met Verwijderen voor worker-nodes.
- Inference-endpoints — Endpoint, Project, Status, Draait op (de node en het GPU-aandeel, bijvoorbeeld 0.5 GPU (50%) · 23.6 GB), Adres en Openbare URL met een kopieerknop en Openbare URL maken / Openbare URL verwijderen.
Beheren opent hetzelfde NVIDIA Run:ai-venster. Verwijderen verwijdert Run:ai na een bevestiging van de head en alle worker-nodes; alle workloads en endpoints op het cluster worden verwijderd. Docker- en Cordatus-containers blijven ongemoeid. Als er voor het head-apparaat geen sudo-wachtwoord is opgeslagen, vraagt Cordatus u om Run:ai-venster openen te kiezen en daar te verwijderen.
U kunt de AI Assistant ook vragen een model op uw Run:ai-cluster uit te rollen. Die plant hoe het model over de nodes wordt verdeeld, toont het plan en start de inferentie nadat u hebt bevestigd.