Ga naar hoofdinhoud

NVIDIA AI Dynamo Creation Guide

Deze handleiding legt uit hoe u NVIDIA AI Dynamo aanmaakt en configureert via het Cordatus Platform.
NVIDIA AI Dynamo is een krachtig gedistribueerd runtimeframework dat efficiënte uitvoering van large language models (LLM's) mogelijk maakt in omgevingen met meerdere GPU's en meerdere nodes.

Via Cordatus kunnen gebruikers eenvoudig NVIDIA AI Dynamo starten op de vLLM Runtime met het model van hun voorkeur, met minimale configuratie.
Dit maakt het mogelijk om prefill- en decode-processen intelligent te verdelen over meerdere GPU's, waardoor zowel de prestaties als de schaalbaarheid worden geoptimaliseerd.

Meer details → Application Hub Overview | Application Hub Quickstart | Standard Application Launch Guide | Container Management Guide

Over NVIDIA AI Dynamo​

NVIDIA AI Dynamo is een krachtige, gedistribueerde uitvoeringsengine, ontworpen voor grootschalige AI-modelworkloads. Het stelt meerdere GPU's of nodes in staat om samen grote LLM-taken te verwerken door geheugen, rekenkracht en communicatie efficiënt te beheren.

Dynamo biedt de volgende kernfuncties:

  • Parallelle uitvoering van prefill- en decode-taken over GPU's
  • Geoptimaliseerd beheer van KV Cache-blokken
  • Data-overdrachten met lage latentie tussen workers
  • Dynamische schaalbaarheid voor gedistribueerde inference-workloads

Het Cordatus Platform verbergt de technische complexiteit van Dynamo achter een gebruiksvriendelijke interface, waarmee gebruikers eenvoudig runtimemodi, routeringsstrategieën, connectoren en GPU-toewijzingen kunnen bepalen.

Stappen om NVIDIA AI Dynamo te starten​

De applicatie selecteren​

  1. Klik in het linkermenu op Containers.
  2. Selecteer Applications in het dropdownsubmenu.
  3. Kies Dynamo uit de lijst met applicaties en ga naar de detailpagina.
Dynamo aanmaken met Aggregated Mode

 

Dynamo aanmaken met Disaggregated Mode

 

Apparaat- en versieselectie​

  1. Klik op Start Application.
  2. Selecteer in het venster dat verschijnt het apparaat waarop u NVIDIA Dynamo wilt uitvoeren en verbind ermee.
  3. Ga naar de stap Version, waar de beschikbare Docker-image-versies worden weergegeven.
    • Als de image al op uw apparaat is geïnstalleerd, verschijnt een gedownload-pictogram.
    • Zo niet, dan wordt een nog-te-downloaden-pictogram weergegeven.

Geavanceerde instellingen​

De laatste stap brengt u naar de pagina Advanced Settings, waar u alle parameters kunt configureren voor het starten van uw NVIDIA AI Dynamo-container.

Details van de geavanceerde instellingen​

Algemene instellingen​

  • Environment Name:
    Wijs een aangepaste naam toe aan uw container. Als u dit leeg laat, genereert Cordatus automatisch een naam.

  • Enable Open Web UI:
    Als deze optie is ingeschakeld, creëert Cordatus tijdens de implementatie automatisch een Open Web UI-container.
    Hiermee kunt u rechtstreeks via een browserinterface communiceren met uw actieve model.

    Meer informatie: De functionaliteit en configuratie zijn identiek aan die van standaardapplicaties. Zie Enable Open Web UI - Sectie 5.2 voor een gedetailleerde uitleg en videotutorial.

  • Modelselectie:
    In het paneel rechtsonder kunt u het model selecteren dat u wilt uitvoeren. Er zijn drie opties beschikbaar:

    1. Cordatus Models:
      Toont vooraf getestte en geregistreerde modellen binnen het Cordatus-systeem, samen met hun tags.

      💡 Smart Volume Detection: Als u modelpaden op uw apparaat hebt geconfigureerd, detecteert Cordatus automatisch geïnstalleerde modellen en controleert of het geselecteerde Cordatus Model al op uw apparaat aanwezig is. Indien gevonden, configureert Cordatus automatisch de volume-mount om uw lokale kopie te gebruiken. Als het model lokaal niet wordt gevonden, wordt het standaard volume-mount-pad gebruikt (het model wordt gedownload tijdens het starten van de container), maar u kunt dit indien nodig handmatig aanpassen in de sectie Docker Options.

    2. Custom Model:
      Als het model dat u wilt uitvoeren niet in het systeem staat, voert u de naam handmatig in het veld Model Name in.

      Meer informatie: Het gebruik is identiek aan standaardapplicaties. Zie Custom Model - Sectie 5.2 voor een gedetailleerde uitleg en videotutorial.

    3. User Models:
      Toont modellen die u eerder hebt gedefinieerd en toegevoegd aan uw Cordatus-account.

      Meer informatie: Het configuratie- en gebruiksproces is identiek aan standaardapplicaties. Zie User Models - Sectie 5.2 voor volledige details, waaronder:

      • Gebruik op hetzelfde apparaat
      • De functie Model Transfer
      • Automatische volumeconfiguratie
      • Videotutorials voor beide scenario's

  • Resource Limits:
    Bepaal hoeveel CPU en RAM uw container mag gebruiken.
    Met de sectie Resource Limits kunt u de containerprestaties optimaliseren en de systeembronnen efficiënt beheren.

    CPU-kerntoewijzing:
    U kunt het maximale aantal CPU-cores dat uw container zal gebruiken, beperken.

    • Limieten instellen:
      Geef handmatig aan hoeveel CPU-cores de container mag gebruiken.

    • Host Reserved:
      Cordatus reserveert automatisch een bepaald aantal CPU-cores voor systeembewerkingen, zodat uw apparaat normaal blijft functioneren.
      Daarom kunt u niet alle CPU-cores als maximumlimiet aan de container toewijzen.

    • Optie No Limit:
      Als u alle CPU-resources aan de container wilt toewijzen, schakelt u de optie No Limit rechtsboven in.
      Hierdoor wordt de Host Reserved-beperking opgeheven en worden alle resources beschikbaar voor de container.

    RAM-toewijzing:
    U kunt aangeven hoeveel van het totale systeem-RAM als maximumlimiet aan de container mag worden toegewezen.

    • Limieten instellen:
      Geef handmatig aan hoeveel RAM de container mag gebruiken.

    • Host Reserved:
      Cordatus reserveert automatisch een bepaalde hoeveelheid RAM voor systeemstabiliteit, zodat uw apparaat naar behoren blijft functioneren.
      Daarom kunt u niet de volledige RAM-capaciteit als maximumlimiet aan de container toewijzen.

    • Optie No Limit:
      Als u alle RAM-resources aan de container wilt toewijzen, schakelt u de optie No Limit rechtsboven in.
      Hierdoor wordt de Host Reserved-beperking opgeheven en wordt alle RAM beschikbaar voor de container.

    ⚠️ Waarschuwing: Het gebruik van de optie No Limit wijst het volledige systeem toe aan de container, wat de prestaties en stabiliteit van uw apparaat negatief kan beïnvloeden. Gebruik deze optie met voorzichtigheid.

    💡 Aanbeveling: Voor optimale prestaties en systeemstabiliteit wordt aanbevolen om de Host Reserved-waarden die Cordatus automatisch instelt bij het toewijzen van resources, te behouden.

Verwerkingsmodus​

Deze sectie bepaalt hoe NVIDIA Dynamo workloads verdeelt over GPU's.

  • Aggregated Mode:
    Zowel prefill- als decode-processen worden op dezelfde GPU uitgevoerd.
    Geschikt voor kleine tot middelgrote implementaties.

  • Disaggregated Mode:
    Prefill- en decode-processen worden op verschillende GPU's uitgevoerd, wat de prestaties optimaliseert voor grootschalige modellen.

notitie

De keuze van de verwerkingsmodus heeft direct invloed op de GPU-toewijzing en het aanmaken van workers, zoals hieronder beschreven.

Routerconfiguratie​

De Router bepaalt hoe binnenkomende aanvragen worden verdeeld over de workers.

  • KV-Aware (Smart) Router:
    Houdt bij welke worker specifieke KV Cache-blokken bevat en routeert aanvragen naar de optimale worker, waardoor herberekening en latentie worden verminderd.

  • Round Robin Router:
    Verdeelt aanvragen achtereenvolgens over alle workers voor een gebalanceerde workloadverdeling. Maakt geen gebruik van KV-bewustzijn.

  • Random Router:
    Routeert aanvragen naar willekeurig geselecteerde workers. Eenvoudig, maar minder efficiënt voor grootschalige workloads.

Connectorconfiguratie​

De Connector bepaalt hoe data wordt uitgewisseld tussen workers of nodes in een gedistribueerd systeem.
Deze wordt actief wanneer KV-blokken of tussenliggende data moeten worden overgedragen.

  • KVBM Connector:
    Werkt als een vertaallaag tussen runtime-uitvoer (bijv. TRT-LLM, vLLM) en de KV Block Manager.
    Beheert het KV-blokgeheugen over RAM en schijf.

  • NIXL Connector:
    Maakt geheugentoegang met lage latentie (RDMA-achtig) tussen workers mogelijk voor geoptimaliseerde data-overdrachten in grootschalige omgevingen.

  • LM Cache Connector:
    Biedt een herbruikbare cachelaag voor tekst of vooraf ingestelde KV-blokken, waardoor overbodige berekeningen worden voorkomen en de prestaties verbeteren.

Geheugentoewijzing:

  • Voor de LM Cache Connector geeft u aan hoeveel RAM u wilt toewijzen voor de LM-cache.
  • Voor de KVBM Connector definieert u hoeveel RAM- en schijfruimte moet worden toegewezen voor het beheer van KV-blokken.

4.5 GPU-toewijzing en het aanmaken van workers​

In deze sectie kunt u workers aanmaken en GPU's aan hen toewijzen, afhankelijk van de gekozen verwerkingsmodus.

  • De lijst Available GPUs links toont alle GPU's in uw systeem die nog niet aan een worker zijn toegewezen.

Aggregated Mode​

  • Er kunnen alleen Decode Workers worden aangemaakt.
  • Aan elke worker moet minstens één GPU worden toegewezen.
  • U kunt zoveel workers aanmaken als nodig is.

Disaggregated Mode​

  • U kunt zowel Prefill Workers als Decode Workers aanmaken.
  • Aan elke worker moet minstens één GPU worden toegewezen.
  • Het aantal workers is volledig aanpasbaar aan uw workload.

4.6 Configuratie-instellingen​

Na het selecteren van uw model laadt Cordatus automatisch de standaardconfiguratie die nodig is om Dynamo correct te laten functioneren.

Docker Options​

  • Configureer standaard docker run-parameters.
  • Gebruik het menu Choose Options links om argumenten toe te voegen, zoals --env, --volume of --network.
  • Poort-mapping:
    Cordatus wijst automatisch een beschikbare poort toe, die u handmatig kunt aanpassen.
    Als een poort al in gebruik is, verschijnt het label Port is Allocated.
  • Volume-mapping:
    Cordatus biedt een visuele interface om schijven te doorbladeren, mappen te selecteren en nieuwe mappen aan te maken voor volume-bindingen.

Environment Variables​

  • Toont de standaard omgevingsvariabelen die voor Dynamo zijn gedefinieerd.
  • Voeg nieuwe variabelen toe via de functie Add your own Environment Variables.
  • Als een variabele een Token is, selecteert u een bestaand token uit uw Cordatus-account.

    (Zie de betreffende sectie voor instructies over het toevoegen van tokens aan Cordatus.)

Dynamo Arguments​

  • Definieer engine-niveau-argumenten die specifiek zijn voor uw Dynamo-instantie.
  • Configureer, afhankelijk van de geselecteerde Processing Mode, hoe de Prefill- en Decode-workers werken — bijvoorbeeld batchgrootte, concurrency-limieten of cachestrategie.

5. De applicatie starten​

Zodra u de GPU-toewijzingen, workers, Docker Options, Environment Variables en Dynamo Arguments hebt geconfigureerd,
wordt de knop Start Environment actief.

  • Cordatus vraagt uw sudo-wachtwoord om het aanmaken van de container te autoriseren.
  • Als de geselecteerde Docker-image niet op uw apparaat aanwezig is, vraagt Cordatus of deze gedownload moet worden.
  • Als de image al beschikbaar is, start Cordatus de container met uw gedefinieerde configuratie.

U kunt de containerstatussen volgen onder:

  • Applications > Containers, of
  • De sectie Containers in de hoofdzijbalk.

Cordatus configureert ook automatisch alle ondersteunende applicaties die nodig zijn voor de werking van Dynamo, zodat een optimale runtimeopzet wordt gegarandeerd.