Ga naar hoofdinhoud

Apparaatmodellen

Het tabblad Models van een apparaat toont welke modelgewichten al op de schijf van die machine staan — en laat u er een starten zonder eerst iets te downloaden.

Cordatus doorzoekt het bestandssysteem niet uit zichzelf. Het kijkt alleen waar u het zegt, vandaar de twee helften van het tabblad: links Opslagpaden, waar u de mappen registreert, en rechts Gedownloade modellen, waar alles wordt getoond dat eronder is gevonden.

Devices → uw apparaat → Models.

Video placeholder

Fleet-Management/device-models.mp4 — een HuggingFace-cachepad toevoegen, de modellen zien verschijnen, wisselen naar Ollama en NIM, en er een rechtstreeks vanuit de rij uitrollen.


Opslagpaden

Het linkerpaneel groepeert de paden per bron: HuggingFace, Ollama en NIM. Kies een bron met de segmentkiezer en voeg een pad toe met de knop + (Pad toevoegen) in de paneelkop.

Paden worden per apparaat bewaard. ~/.cache/huggingface registreren op de ene machine zegt niets over een andere.

Een pad toevoegen

  1. Druk op + (Pad toevoegen).
  2. Blader door het bestandssysteem van het apparaat en kies de map.
  3. Cordatus valideert het pad op het apparaat en slaat het op. De lijst wordt meteen ververst.

De validatie gaat over het pad zelf, niet over de inhoud:

MeldingBetekenis
✓ Geldig padDe map bestaat en is leesbaar.
Het geselecteerde pad bestaat nietEr staat niets op het apparaat.
Het geselecteerde pad is geen mapU koos een bestand.
Dit pad is al toegevoegdDuplicaat — het bestaande item blijft staan.

Een geldig pad zonder modellen is geen fout. Het wordt opgeslagen en de tabel blijft leeg tot er iets onder verschijnt.

Welke map u moet opgeven

BronTe registreren mapWat er wordt gescand
HuggingFaceDe HuggingFace-cacheroot, bijv. ~/.cache/huggingface (of direct de map hub daarbinnen)Mappen met de naam models--org--naam, zowel in het pad zelf als in een submap hub. De naam wordt terugvertaald naar org/naam.
OllamaDe Ollama-root, bijv. ~/.ollama — de map die models bevatmodels/manifests/registry.ollama.ai/library. Elke tag van elk model wordt een rij, met de naam model:tag en de grootte uit de manifestlagen.
NVIDIA NIMDe NIM-cacherootMappen met de naam models--…, zowel in het pad zelf als onder ngc/hub.

U kunt meerdere paden per bron registreren — een tweede schijf, de cache van een tweede gebruiker. Alles wordt gescand en samengevoegd; een model dat twee keer wordt gevonden, staat er één keer in.

Een pad verwijderen

Druk op de × naast het pad en bevestig. Het dialoogvenster is duidelijk over wat er gebeurt:

notitie

Hiermee wordt alleen het pad uit de instellingen verwijderd. Uw modelbestanden worden niet verwijderd.


Gedownloade modellen

Het rechterpaneel toont alles wat onder de geregistreerde paden van de gekozen bron is gevonden. Wissel van bron met de segmentkiezer in de kop; (Modellen vernieuwen) scant het apparaat opnieuw.

KolomHuggingFaceOllamaNVIDIA NIM
Modelnaamorg/naammodel:tagorg/naam
BronpadOnder welk geregistreerd pad het is gevonden — zo onderscheidt u twee kopieën
GrootteSchijfgrootte van de mapSom van de manifestlagenSchijfgrootte
Laatst gewijzigd
KwantisatieUit de tag gelezen (Q4_K_M, FP16, …) als die in de naam staat
Versie
Uitrollen

De voettekst telt de rijen.

De badge Aangepast

Een model in het HuggingFace-pad dat niet de cachenaamgeving models--… volgt, wordt toch opgepikt, zolang de map echte gewichten bevat — een config.json, of bestanden met .safetensors, .bin, .gguf of .pth. Die rijen krijgen de badge Aangepast en worden naar hun map genoemd.

Zo verschijnt een model dat u zelf hebt gekloond of gekopieerd naast de modellen die de cache heeft gedownload.

notitie

Deze detectie geldt alleen voor het HuggingFace-pad. Ollama en NIM worden via hun eigen mappenstructuur gelezen.

Lege toestanden

ToestandBetekenis
Geen paden geconfigureerdVoeg een {type}-pad toe om modellen te gaan weergeven.Nog niets geregistreerd voor deze bron.
Geen HuggingFace-pad geconfigureerd (en de equivalenten voor Ollama / NIM)De tabel heeft niets om te lezen; voeg links een pad toe.
Geen HuggingFace-modellen gevondenDe paden zijn geregistreerd en leesbaar, maar er is niets gevonden.

Een model uitrollen vanuit de tabel

Uitrollen neemt het model van die rij mee in de startflow met het pad al ingevuld — er wordt niets gedownload, de container leest de gewichten rechtstreeks van schijf.

  • Bronnen worden automatisch aan engines gekoppeld: HuggingFace-modellen aan vLLM, TensorRT-LLM, SGLang en Dynamo; Ollama-modellen aan Ollama; NIM-modellen aan NIM.
  • Past er maar één engine bij, dan gaat Uitrollen er direct heen.
  • Passen er meerdere, dan opent de knop een menu en kiest u de engine.
  • U komt uit op de startpagina van die engine met het model al geselecteerd; ga verder zoals gebruikelijk — apparaat, versie, compute, toegang, overrides, starten.
MeldingBetekenis
Geen engine beschikbaar voor {bron}Geen engine in uw account verwerkt deze bron.
Geen container gevonden voor engine "X"Voor de engine is geen container-image geregistreerd.

Verhouding tot LLM Models

Twee verschillende dingen die makkelijk door elkaar lopen:

Devices → apparaat → ModelsLLM Launcher → LLM Models → User Models
BereikEén apparaat, live van de schijf gelezenUw hele account
Bron van waarheidHet bestandssysteem, nuDe modellen die u bij Cordatus hebt geregistreerd
WaarvoorZien wat er al staat en het startenEen catalogus met tags, metadata en engines, bruikbaar in elke startflow

Ze raken elkaar op één punt: Explore Models on Your Devices op het tabblad User Models scant een apparaat met precies deze geregistreerde paden en importeert wat het vindt in uw bibliotheek. Een pad dat u hier registreert, laat dus ook die scan werken. Zie User Models.

pas op

Modeloverdracht vereist ook een pad op het doelapparaat. Een model verplaatsen naar een machine zonder geregistreerd pad voor die bron mislukt met "{type} model path is not configured on the destination device."


Probleemoplossing

SymptoomOorzaak en oplossing
Het tabblad is leeg en er laadt nietsHet apparaat moet Online zijn — paden en modellen worden van het apparaat zelf gelezen.
Een pad is toegevoegd maar de tabel blijft leegDe map is geldig, maar er staat niets in dat bij die bron past. Zie Welke map u moet opgeven — voor Ollama is dat de map die models bevat, niet de map models zelf.
Een model staat op schijf maar wordt niet getoondOnder het HuggingFace-pad is ofwel de naamgeving models--… nodig, ofwel herkenbare gewichtsbestanden in de map. Registreer het anders handmatig via LLM Models → User Models → Add a model manually.
Ollama-groottes lijken niet te kloppenOllama-groottes komen uit de manifestlagen, niet uit een mapscan, dus gedeelde lagen tellen per tag mee.
Hetzelfde model staat er twee keer inHet bestaat onder twee geregistreerde paden. De kolom Bronpad laat zien welk exemplaar welk is.
Uitrollen is uitgeschakeldEr is geen engine voor die bron in uw account geregistreerd.