Ga naar hoofdinhoud

Application Launch Guide

Deze handleiding legt uit hoe u een applicatie start via het Cordatus Platform.
Met Cordatus kunnen gebruikers eenvoudig AI-modellen of aangepaste software starten, configureren en beheren, terwijl de systeembronnen efficiënt worden benut.

Meer details → Application Hub Overview | Application Hub Quickstart | Container Management Guide | User Models Guide

Een applicatie selecteren​

Toegang via het menu​

  1. Klik in het linkermenu op Containers.
  2. Selecteer Applications in de dropdownlijst.
  3. Kies de applicatie die u wilt uitvoeren.

    Voorbeeld: in de referentievideo is de vLLM-applicatie geselecteerd.

Applicatie aanmaken met één GPU

 

Applicatie aanmaken met meerdere GPU's

 

Applicatie aanmaken met een nog niet gedownload model

 

Applicatiedetailpagina​

De Application Detail Page is het centrale informatiepaneel waar u alle relevante gegevens over de geselecteerde applicatie kunt bekijken.
Op deze pagina vindt u:

  • Ondersteunde platforms (Server / Workstation of Jetson)
  • Een korte beschrijving van de geselecteerde applicatie
  • Een technische samenvatting van Cordatus

Op deze pagina zijn ook de volgende tabbladen beschikbaar:

  • Description: algemene informatie over de geselecteerde applicatie
  • Versions: Docker-images en tags die in Cordatus zijn geregistreerd
  • Containers: lijst van containers die eerder onder uw account zijn gestart voor dezelfde applicatie
  • Models: alleen beschikbaar voor LLM Engine-applicaties, toont de modellen die aan die engine zijn gekoppeld

4. De applicatie starten​

4.1 Starten vanaf de detailpagina​

  1. Klik op de knop Start Application.
  2. In het venster dat verschijnt:
    • Selecteer het apparaat waarop u de applicatie wilt uitvoeren en verbind ermee.
    • Ga naar de stap Version, waar de beschikbare Docker-image-versies worden weergegeven.
      • Als de Docker-image al op uw apparaat aanwezig is, verschijnt een gedownload-pictogram.
      • Zo niet, dan wordt een nog-te-downloaden-pictogram weergegeven.
  3. U wordt vervolgens doorgestuurd naar het scherm Advanced Settings — het configuratiegebied voor uw container in Cordatus.

5. Geavanceerde instellingen​

5.1 Algemene instellingen​

  • Environment Name:
    U kunt een aangepaste naam toewijzen aan uw container.
    Als u dit leeg laat, genereert Cordatus automatisch een naam.

  • Select GPU:
    Kies welke GPU's de container mag gebruiken.

    • Door All GPU te selecteren, krijgt de container toegang tot alle GPU's op uw apparaat.
    • Er moet minstens één GPU worden geselecteerd om verder te gaan.

  • Resource Limits:
    Bepaal hoeveel CPU en RAM uw container mag gebruiken.
    Met de sectie Resource Limits kunt u de containerprestaties optimaliseren en de systeembronnen efficiënt beheren.

    CPU-kerntoewijzing:
    U kunt het maximale aantal CPU-cores dat uw container zal gebruiken, beperken.

    • Limieten instellen:
      Geef handmatig aan hoeveel CPU-cores de container mag gebruiken.

    • Host Reserved:
      Cordatus reserveert automatisch een bepaald aantal CPU-cores voor systeembewerkingen, zodat uw apparaat normaal blijft functioneren.
      Daarom kunt u niet alle CPU-cores als maximumlimiet aan de container toewijzen.

    • Optie No Limit:
      Als u alle CPU-resources aan de container wilt toewijzen, schakelt u de optie No Limit rechtsboven in.
      Hierdoor wordt de Host Reserved-beperking opgeheven en worden alle resources beschikbaar voor de container.

    RAM-toewijzing:
    U kunt aangeven hoeveel van het totale systeem-RAM als maximumlimiet aan de container mag worden toegewezen.

    • Limieten instellen:
      Geef handmatig aan hoeveel RAM de container mag gebruiken.

    • Host Reserved:
      Cordatus reserveert automatisch een bepaalde hoeveelheid RAM voor systeemstabiliteit, zodat uw apparaat naar behoren blijft functioneren.
      Daarom kunt u niet de volledige RAM-capaciteit als maximumlimiet aan de container toewijzen.

    • Optie No Limit:
      Als u alle RAM-resources aan de container wilt toewijzen, schakelt u de optie No Limit rechtsboven in.
      Hierdoor wordt de Host Reserved-beperking opgeheven en wordt alle RAM beschikbaar voor de container.

    ⚠️ Waarschuwing: Het gebruik van de optie No Limit wijst het volledige systeem toe aan de container, wat de prestaties en stabiliteit van uw apparaat negatief kan beïnvloeden. Gebruik deze optie met voorzichtigheid.

    💡 Aanbeveling: Voor optimale prestaties en systeemstabiliteit wordt aanbevolen om de Host Reserved-waarden die Cordatus automatisch instelt bij het toewijzen van resources, te behouden.

5.2 Instellingen voor LLM Engine-applicaties​

Deze sectie is alleen van toepassing op LLM Engine-applicaties.
Als u een standaardapplicatie start, kunt u dit deel overslaan.

  • Enable Open Web UI:
    Als deze optie is ingeschakeld, creëert Cordatus automatisch een extra Open Web UI-container, waarmee u rechtstreeks via uw browser met het model kunt communiceren.

 

  • Modelselectie:
    Kies rechts welk model u wilt uitvoeren. Er zijn drie opties:

    1. Cordatus Models: Toont modellen die zijn getest en vooraf geregistreerd in het Cordatus-systeem, samen met hun tags.

      💡 Smart Volume Detection: Als u modelpaden op uw apparaat hebt geconfigureerd, detecteert Cordatus automatisch geïnstalleerde modellen en controleert of het geselecteerde Cordatus Model al op uw apparaat aanwezig is. Indien gevonden, configureert Cordatus automatisch de volume-mount om uw lokale kopie te gebruiken. Als het model lokaal niet wordt gevonden, wordt het standaard volume-mount-pad gebruikt (het model wordt gedownload tijdens het starten van de container), maar u kunt dit indien nodig handmatig aanpassen in de sectie Docker Options.

    2. Custom Model:
      Als u een model wilt uitvoeren dat niet in Cordatus bestaat, voert u de naam handmatig in het veld Model Name or Model URL in.

    1. User Models:
      Toont modellen die u eerder hebt gedefinieerd en toegevoegd aan uw Cordatus-account.

      💡 Opmerking: Om een model van apparaat X te gebruiken op apparaat Y, moet u het model eerst toevoegen aan User Models.
      Meer informatie: User Models and Model Transfer Guide Als het geselecteerde apparaat en het apparaat waar het model zich bevindt, hetzelfde zijn, wordt het model direct gebruikt zonder overdrachtsproces. Cordatus detecteert dit automatisch en slaat de overdrachtsstap over.

    Applicatie aanmaken met een User Model op hetzelfde apparaat
    Applicatie aanmaken en de modeloverdrachtstructuur

    Functie Model Transfer:
    Wanneer het model naar een ander apparaat moet worden overgezet, maakt Cordatus een naadloze modeloverdracht mogelijk tussen apparaten op hetzelfde netwerk.

    • Als de overdracht wordt onderbroken, wordt deze automatisch hervat vanaf het punt waar deze werd gestaakt
    • Zodra de overdracht is voltooid, kunt u verdergaan met het starten van de applicatie

    Automatische volumeconfiguratie:
    Op basis van de geselecteerde inference-engine configureert Cordatus automatisch de volume-mapping volgens uw vooraf gedefinieerde modelpaden.

    Modelpaden kunnen worden gedefinieerd voor drie verschillende inference-engines:

    • Huggingface
    • Ollama
    • NVIDIA NIM

    ⚠️ Belangrijk: Om User Models te gebruiken, moet u eerst modelpaden op uw apparaat configureren.
    Ga naar Metrics > Model Info nadat u verbinding hebt gemaakt met uw apparaat, en definieer de modelpaden voor elke inference-engine.

5.3 Docker Options​

In de sectie Docker Options kunt u klassieke docker run-parameters configureren via de intuïtieve interface van Cordatus — zonder handmatig terminalcommando's te schrijven.

  • Links, onder Choose Options, kunt u Docker run-parameters toevoegen of aanpassen, zoals:
    --volume, --network, --env, --restart, --device, en andere.
  • Cordatus biedt een duidelijke grafische interface om de configuratie te vereenvoudigen en een correcte parameterindeling te garanderen.

Poort-mapping​

Cordatus stelt automatisch een beschikbaar poortnummer voor.
U kunt dit indien nodig handmatig aanpassen.
Als u een poort invoert die al in gebruik is, ziet u de waarschuwing Port is Allocated.

Volume-mapping​

Cordatus biedt een geïntegreerde bestandsverkenner waarmee u:

  • beschikbare schijven en mappen kunt doorbladeren,
  • nieuwe mappen kunt aanmaken, en
  • mappaden kunt toewijzen voor Docker-volume-mappings.

Met deze functie kunt u containerdata veilig koppelen aan lokale mappen.

5.4 Environment Variables​

De sectie Environment Variables definieert de omgevingsparameters voor uw applicatie.

  • Cordatus toont automatisch de standaardvariabelen die bij de geselecteerde applicatie horen.
  • Om uw eigen variabelen toe te voegen, gebruikt u de optie Add your own Environment Variable.
  • Als uw omgevingsvariabele een Token is, kunt u een van uw vooraf gedefinieerde tokens uit uw Cordatus-account selecteren.

    (U kunt deze sectie raadplegen om te leren hoe u tokens toevoegt aan Cordatus.)

Met dit mechanisme kunt u toegangssleutels, configuratiewaarden en authenticatieparameters veilig beheren binnen uw containers.

5.5 Engine Arguments​

Met de sectie Engine Arguments kunt u de operationele parameters van uw Cordatus-applicatie configureren — met name voor LLM-engines.

  • Cordatus biedt automatisch de standaard engine-argumenten voor de geselecteerde applicatie.
  • Om nieuwe argumenten toe te voegen, gebruikt u de optie Add your own Engine Argument.
  • Deze argumenten kunnen parameters omvatten zoals optimalisatieniveaus van het model, batchgrootte, tokenlimieten of uitvoeringsmodi.

6. De container starten​

Zodra u alle configuraties heeft voltooid, wordt de knop Start Environment actief.

De volgende configuraties moeten zijn voltooid:

  • GPU-selectie
  • Configuratie van Docker Options
  • Environment Variables (optioneel)
  • Engine Arguments (optioneel)

6.1 Proces voor het aanmaken van de container​

  1. Voordat de container wordt gestart, vraagt Cordatus uw sudo-wachtwoord om het proces te autoriseren.
  2. Als de geselecteerde Docker-image niet op uw apparaat aanwezig is, vraagt Cordatus of u deze wilt downloaden.
  3. Als de image al beschikbaar is, start Cordatus de container automatisch met uw geconfigureerde instellingen.

6.2 De container monitoren​

U kunt de status en logs van uw container volgen via de volgende secties:

  • Het tabblad Application > Containers
  • De sectie Containers in de hoofdzijbalk

Hier toont Cordatus runtimeinformatie, gezondheidsstatus en resourcegebruiksstatistieken van de container.