Ga naar hoofdinhoud

User Models and Model Transfer Guide

Deze handleiding legt uit hoe u de User Models-structuur gebruikt en hoe u Model Transfer tussen apparaten uitvoert via het Cordatus Platform.

Met de functie User Models kunt u:

  • Modellen die op één apparaat zijn gedownload, gebruiken op al uw andere apparaten
  • Modellen overzetten tussen bij Cordatus geregistreerde apparaten op hetzelfde lokale netwerk
  • Aangepaste modellen overzetten en gebruiken die niet op internet beschikbaar zijn

Meer details → Application Hub Overview | Application Hub Quickstart | Standard Application Launch Guide | NVIDIA VSS Guide

Configuratie van modelpaden​

Om de functie User Models te gebruiken, moet u eerst modelpaden op uw apparaten definiëren.

Toegang tot de pagina Metrics​

  1. Verbind in Cordatus met het apparaat dat u wilt gebruiken
  2. Navigeer naar het gebied Metrics via de apparatentabel
  3. Klik op het tabblad Model Info

Modelpaden definiëren​

Op het tabblad Model Info vindt u drie invoervelden voor het definiëren van modelpaden voor drie verschillende inference-engines:

  • Huggingface Cache Paths
  • Ollama Models Cache Paths
  • NVIDIA NIM Cache Paths

Stappen voor het definiëren van paden:

  1. Selecteer via de Cordatus-interface de juiste mappen voor elke inference-engine
  2. Na het definiëren van de paden kunt u informatie bekijken over modellen in de opgegeven map
Belangrijk

Het correct definiëren van modelpaden is verplicht om de functie User Models goed te laten werken.

Modellen op uw apparaat ontdekken en toevoegen​

Toegang tot de pagina LLM Models​

  1. Klik op het tabblad LLM Models in het linkermenu
  2. Klik op de knop Explore Models on Your Device naast de opties Application-Hub / User Models rechtsboven
  3. Selecteer het apparaat dat u wilt gebruiken in het menu dat opent

Methoden om modellen toe te voegen​

Na het selecteren van een apparaat kunt u modellen toevoegen via twee verschillende methoden:

Methode 1: Start Scanning (automatisch scannen)​

Met deze methode kan Cordatus automatisch modellen detecteren in de paden die u eerder heeft gedefinieerd.

Scanproces:

  1. Klik op de knop Start Scanning
  2. Cordatus scant alle modellen in de gedefinieerde paden

Weergegeven informatie:

  • Modelnaam
  • Map waarin het model zich bevindt
  • Bestandsgrootte
  • Of het al eerder aan het systeem is toegevoegd
  • Met welke inference-engines het gebruikt kan worden

Modellen toevoegen:

  1. Schakel de selectievakjes links van de modellen die u aan het systeem wilt toevoegen, in
  2. Als u een aangepast model heeft gemaakt, kunt u de modelnaam hier bewerken
  3. Klik op de knop Add Models om de geselecteerde modellen aan het systeem toe te voegen

Opnieuw scannen:

  • U kunt op elk moment een nieuwe scan uitvoeren met de knop Rescan rechtsboven

Methode 2: Add New Model Manually (handmatig toevoegen)​

Met deze methode kunt u handmatig een model dat op uw apparaat staat, aan het systeem toevoegen.

Stappen voor handmatig toevoegen:

  1. Klik op de optie Add New Model Manually
  2. Navigeer via de Cordatus-interface naar de modelmap
  3. Selecteer het model dat u wilt toevoegen
  4. Controleer en bevestig de modelinformatie

Deze methode is vooral nuttig voor modellen die buiten de standaardpaden staan.

Beheer van User Models​

Bewerkingen op User Models

 

De lijst met User Models bekijken​

  1. Ga op de pagina LLM Models naar het tabblad User Models via de tabbladen Application-Hub / User Models rechtsboven
  2. U kunt alle modellen die u aan het systeem heeft toegevoegd, als lijst bekijken

Modelinformatie​

De volgende informatie wordt weergegeven voor elk model in de lijst User Models:

  • Modelnaam
  • Apparaat waar het model zich bevindt
  • Modelgrootte
  • Ondersteunde inference-engines
  • Modelstatus (actief/inactief)

Modelinformatie bewerken en verwijderen​

U kunt op elk moment modellen die u aan het systeem heeft toegevoegd, bewerken of verwijderen:

Modelinformatie bewerken:

  • U kunt de modelnaam wijzigen
  • U kunt de Quantization-informatie bijwerken (bijv. Q4_K_M, Q8_0, FP16)
  • U kunt de Parameters-informatie bewerken (bijv. 7B, 13B, 70B)
  • U kunt overige metadata bijwerken

Modellen verwijderen:

  • U kunt op elk moment een model verwijderen uit de lijst User Models
  • Bij het verwijderen wordt alleen het record uit het Cordatus-systeem verwijderd
  • De fysieke bestanden van het model blijven op uw apparaat staan
Opmerking

Het bewerken van modelinformatie is vooral belangrijk voor aangepaste modellen. Correcte quantization- en parameterinformatie helpt u te bepalen op welke hardware het model kan draaien.

Modeloverdracht en gebruik​

Modeloverdracht en implementatie

 

Een model implementeren​

Om een model uit de lijst User Models te gebruiken:

  1. Klik op de knop Deploy naast het model dat u wilt gebruiken
  2. Selecteer een inference-engine in het menu dat opent (vLLM, TensorRT-LLM, enz.)
  3. Het systeem stuurt u door naar de interface Application Launch

Proces van modeloverdracht​

Wanneer u een model op een ander apparaat wilt gebruiken:

Controle van de overdracht:

  • Cordatus controleert automatisch of het model al op het doelapparaat aanwezig is
  • Als het model niet op het doelapparaat aanwezig is, kan de gebruiker het overdrachtsproces starten

Overdrachtsfuncties:

  • Als het overdrachtsproces wordt onderbroken, wordt dit hervat vanaf het punt waar het werd gestaakt
  • U kunt de voortgang tijdens de overdracht volgen
  • Zodra de overdracht is voltooid, kunt u verdergaan met het starten van de applicatie

Automatische volumeconfiguratie:

  • Op basis van de geselecteerde inference-engine voert Cordatus automatisch de volume-mapping uit
  • De vereiste mappen worden gemount volgens de modelpaden die u eerder heeft gedefinieerd

De applicatie starten​

Zodra de modeloverdracht is voltooid:

  1. Het scherm Advanced Settings wordt geopend
  2. Configureer de benodigde instellingen (GPU-selectie, Docker Options, enz.)
  3. Klik op de knop Start Environment om de container te starten
Opmerking

Voor een gedetailleerde uitleg van het proces om een applicatie te starten, raadpleegt u de Standard Application Launch Guide.

7. Best practices​

7.1 Beheer van modelpaden​

  • Definieer modelpaden consistent op elk apparaat
  • Bewaar modellen in een georganiseerde mapstructuur
  • Gebruik externe opslagruimtes voor backups

7.2 Tips voor modeloverdracht​

  • Zorg voor voldoende schijfruimte voordat u grote modellen overzet
  • Voer modeloverdrachten uit op momenten met minder netwerkverkeer
  • Zorg ervoor dat apparaten tijdens de overdracht op hetzelfde netwerk blijven

7.3 Organisatie van modellen​

  • Definieer modelnamen op een betekenisvolle en consistente manier