Ga naar hoofdinhoud

Omgevingen

LLM Launcher → Omgevingen biedt populaire deep learning- en machine learning-frameworks als kant-en-klare containers, zonder dat u iets hoeft te installeren. Zowel NVIDIA NGC-containers als Cordatus-containers zijn beschikbaar, geoptimaliseerd voor de hardware die u hebt geregistreerd.

Een omgeving is een ontwikkel-image — PyTorch, TensorFlow, CUDA, TensorRT enzovoort — en geen inferentie-engine. Hij gebruikt dezelfde startflow als een applicatie, zonder de stap met modelselectie.

Door de catalogus bladeren, de wizard van begin tot eind, en de notebook-URL na de start

 

De pagina Omgevingen​

Twee secties:

  • Meest populair — een carrousel van de meestgebruikte omgevingen, met ‹ ›-navigatie en indicatoren. Het aantal staat naast de kop.
  • Alle omgevingen — de rest, als raster, waarbij Alles bekijken de volledige lijst opent.

Elke kaart toont het logo van de omgeving, de naam, een korte beschrijving en maximaal drie labels (de rest achter +{n}). Op een label klikken filtert erop; op de kaart of op Omgevingen weergeven klikken opent de versies.

Het vernieuwicoon naast de paginatitel laadt de catalogus opnieuw.

Ondersteunde omgevingen​

Cordatus biedt op dit moment onder meer:

  • Python
  • OpenCV
  • PyTorch
  • TensorFlow
  • ONNX
  • TensorRT
  • Torchvision
  • Caffe
  • Chainer
  • CUDA
  • cuDNN
  • DALI
  • DLib
  • MS CNTK
  • MXNet
waarschuwing

Modellen trainen op het NVIDIA Jetson-platform kan tot oververhitting leiden en de Jetson-module beschadigen. Gebruik NVIDIA RTX-werkstations voor modeltraining.

Een versie kiezen​

Omgevingen weergeven opent de versielijst voor die omgeving. De pagina biedt:

  • zoeken;
  • Filteren op apparaattype — Server - werkstation, Jetson, DGX Spark;
  • voor Jetson een extra filter Selecteer Jetson-groep…;
  • verwijderbare filterchips en Alles wissen.

Sommige omgevingen publiceren verschillende versies voor verschillende hardware — bijvoorbeeld L4T-builds voor NVIDIA Jetson-apparaten. Alleen wat uw apparaat kan draaien, wordt aangeboden.

Details bekijken opent de omgeving, met dezelfde vier tabbladen als een applicatie: README/beschrijving, Versies, Containers en (voor engines) Modellen. Zie de Starthandleiding voor wat elk tabblad bevat.

Een omgeving starten​

Omgeving op één apparaat starten opent de startwizard:

  1. Apparaat selecteren — een verbonden apparaat.
  2. Versie selecteren — een compatibele image, gemarkeerd als Gedownload of Wordt gedownload.
  3. Geavanceerde configuratie — de rail.

Omdat een ontwikkelomgeving geen model heeft, is de rail korter dan bij een engine. Wat u instelt:

Omgevingsnaam​

Een eigen naam voor de container. Leeg gelaten genereert Cordatus er een.

Rekenkracht​

  • GPU's — kies afzonderlijke GPU's of zet Alles gebruiken aan. Ten minste één is vereist. Op een apparaat met meerdere GPU's isoleert u zo het werk per omgeving.
  • Hostlimieten — Automatisch houdt de gereserveerde CPU en RAM (Host Reserved) vrij voor het systeem; met Aangepast stelt u de limieten zelf in.
tip

Behoud de Host Reserved-waarden die Cordatus automatisch instelt. Die houden het apparaat responsief terwijl de container het druk heeft.

Overschrijvingen​

Dezelfde tabbladen als bij een applicatie, maar alleen die waarvoor deze image iets heeft — een gewone omgeving toont meestal alleen Container en Notebook:

  • Container — docker run-opties: --volume, --network, --env, --restart, --device en de rest, via een formulier in plaats van een opdrachtregel.
    • Poorten — Cordatus stelt een vrije poort voor en waarschuwt wanneer er een al in gebruik is.
    • Volumes — een ingebouwde bestandsverkenner over de echte schijven van het apparaat, waarin u kunt navigeren, mappen kunt aanmaken en die aan de container kunt koppelen.
  • Omgeving — omgevingsvariabelen, inclusief waarden uit uw tokenkluis.
  • Engine-vlaggen — voor zover de image die publiceert.
  • Notebook — Jupyter.

Regels die de image vastlegt, worden met een slotje getoond en kunnen niet worden verwijderd.

Notebook (Jupyter)​

Jupyter draait in dezelfde container, dus notebooks delen de gekoppelde mappen en de GPU's.

Hoe notebooks worden beveiligd biedt drie modi:

ModusWat het betekent
WachtwoordEen Jupyter-wachtwoord dat u zelf intypt. Eenmaal per browser gevraagd bij het openen van het notebook.
TokenEen Toegangstoken dat voor u wordt gegenereerd, met knoppen om het opnieuw te genereren en te kopiëren. Het verschijnt na de start opnieuw op het tabblad Poorten van de omgeving.
Geen authHelemaal geen authenticatie. Het paneel schakelt om naar Niet beveiligd.
pas op

Een onbeveiligd notebook geeft iedereen die de host op die poort kan bereiken een notebook met shell-toegang. Gebruik dit alleen op een geïsoleerd netwerk.

Controleren en starten​

Het laatste paneel toont de samenvatting, de exacte opdracht die zal draaien en elke container die wordt aangemaakt — daarna Omgeving starten.

Na de start​

  1. Staat de image nog niet op het apparaat, dan vraagt Cordatus het eerst — "Environment is not exist. Would you like to download the environment to {device}?" — en Download Now haalt hem op; de container toont Downloaden.
  2. Met een notebook aan toont het venster Jupyter Token het token één keer en kopieert het naar uw klembord. Bewaar het voordat u sluit: het wordt niet opnieuw getoond.
  3. De container verschijnt op de pagina Containers.
  4. Open het detailpaneel → Poorten voor het lokale adres, de notebook-URL en een eventuele openbare URL.

Starten vanaf uw eigen image​

Een omgeving kan ook worden gestart vanuit de Privéregistry, vanaf een tag die u zelf hebt gepusht. Bij die route vervalt de versiestap — de tag is de versie.