LLM-modellen
LLM Launcher → LLM-modellen is de modelcatalogus. Hij brengt vier bronnen samen — Hugging Face, Ollama, NVIDIA NIM en de modellen die al op uw eigen apparaten staan — en laat u die filteren op de hardware die u werkelijk bezit, ze naar een apparaat downloaden en ze starten.
De vier tabbladen
Gebruik de ‹ ›-navigator in de subkop om ertussen te wisselen.
| Tabblad | Wat het toont |
|---|---|
| Hugging Face | De Hugging Face-hub, gefilterd en gesorteerd voor inferentie. |
| Ollama | De Ollama-bibliotheek, met de pull-opdracht per tag. |
| NVIDIA NIM | NVIDIA NIM-microservices. |
| Gebruikersmodellen | Modellen die al op uw apparaten staan en bij Cordatus zijn geregistreerd. Zie Gebruikersmodellen. |
Zoeken
Eén veld, dat het volgende accepteert:
- vrije tekst — "Zoek modellen of plak een URL…", of
- een volledige model-URL; in dat geval verschijnt een badge met de herkende bron.
Op het tabblad Hugging Face blijft het veld uitgeschakeld tot er een zoektype is gekozen.
Filters
Filters opent het filterpaneel; op de knop staat hoeveel filters actief zijn.
Hardwarefilters
Deze twee sluiten elkaar uit — Cordatus schakelt de een uit zolang de ander is ingesteld, en zegt waarom.
- Jetson-apparaat — kies een Jetson-module en de lijst versmalt tot wat die kan draaien. Het parameterfilter wordt daarna automatisch door dat apparaat aangestuurd.
- GPU-apparaat — kies een GPU-model uit de lijst, met een + / −-teller voor hoeveel u er hebt. Elk item toont het VRAM.
- Van apparaat — in plaats van een GPU te noemen, leest Cordatus de echte GPU's van een van uw verbonden apparaten. Het dialoogvenster leidt u langs Kies een verbonden apparaat → Selecteer GPU's, toont per GPU het totale, gebruikte en vrije VRAM en kan worden beperkt tot Alleen apparaten met een GPU. Na toepassing verschijnt een chip met het apparaat en het totale VRAM, met een × om die te wissen.
Catalogusfilters (Hugging Face)
- Sorteren — op trending, downloads, likes, actualiteit enzovoort.
- Parameterbereik — een schuifregelaar met twee handgrepen over de gebruikelijke parametergroottes. Uitgeschakeld zolang er een Jetson-apparaat of GPU is geselecteerd, omdat die hem automatisch aansturen.
- Geavanceerde filters — Engines, Uitgevers en Modellen, elk afhankelijk van de vorige (Selecteer eerst een engine, Selecteer eerst een uitgever).
Filter voor Gebruikersmodellen
- Filteren op engine — beperk de lijst tot modellen die voor één inferentie-engine zijn geregistreerd.
Actieve filters verschijnen als verwijderbare chips onder het paneel, met ALLES WISSEN.
Een modelrij
Elke rij toont het model, de uitgever, de grootte en het aantal parameters, plus een slotindicatie:
- "Dit model is open en vereist geen toegangstoken."
- "Voor het downloaden van dit model is een toegangstoken vereist. U moet een geldig Hugging Face-token opgeven."
Voor Jetson toont een aparte rij Compatibele Jetson-apparaten welke van uw modules het model kunnen draaien, of meldt "Geen compatibele Jetson-apparaten gevonden voor dit model." Ontbreekt de metadata die nodig is om dat te bepalen, dan wordt benoemd wat ontbreekt in plaats van te gokken.
Acties op een rij:
| Actie | Resultaat |
|---|---|
| AI-start | Opent AI-start met dit model. Zoek een apparaat voor dit model en plan de engine, image, GPU's en vlaggen. |
| Handmatig → Handmatig uitvoeren met… | Opent de startwizard met de engine die u kiest. |
| Uitrollen | Stuurt het model naar de wizard voor de engine wiens catalogus u bekijkt. |
| Downloaden | Haalt de gewichten op naar een van uw apparaten. |
| Informatie ophalen | Haalt de details van het model op bij Hugging Face wanneer die nog niet in de cache staan. |
Meer LLM-modellen laden bladert door de lijst.
Een model naar een apparaat downloaden
Downloaden opent een dialoogvenster dat het hele werk op het apparaat doet, niet via uw browser.
- Apparaat — alle geregistreerde apparaten, met een online/offline-markering. Hebt u er geen: "Er zijn nog geen apparaten geregistreerd op uw account. Voeg er een toe via de pagina Apparaten."
- Map — de modelmappen die op dat apparaat zijn geregistreerd. Is er nog geen geregistreerd, dan meldt het dialoogvenster dat, en Een map toevoegen registreert er een. Moet de map met verhoogde rechten worden aangemaakt, dan legt Cordatus precies uit wat er gebeurt: "Alleen de map wordt als root aangemaakt; de download niet."
- Kwantisatie / Profiel — publiceert een repository hetzelfde model op meerdere manieren, dan
wordt alleen de door u gekozen variant gedownload, plus de gedeelde bestanden. Elke
quantization downloadt ze allemaal. Losse
.gguf-bestanden die zelf geen kwantisatie zijn, worden overgeslagen tenzij u Elke quantization kiest. - Token — kies een opgeslagen token of plak er een. Optioneel voor open modellen; optioneel, maar sneller waar rate limits gelden.
- sudo-wachtwoord, wanneer de map dat vereist. Staat er al een wachtwoord op het apparaat, dan gebruikt Cordatus dat en meldt: "Het wordt nooit naar uw browser gestuurd."
Naast de geregistreerde mappen opent Een andere map… de bestandsverkenner van het apparaat zelf, zodat ook een nooit geregistreerd pad bruikbaar is.
Voor u begint noemt het dialoogvenster de kosten — "Ongeveer {size} per apparaat wordt van de hub naar het geselecteerde apparaat gehaald. Elk apparaat gaat door als u deze pagina sluit." — en staan de gewichten er al, dan zegt het dat en wordt de knop Verifiëren op apparaat: "Staat er al: alle {n} bestand(en) zijn aanwezig. Toch starten verifieert ze en downloadt niets."
Tijdens de voorbereiding vertelt het dialoogvenster wat het doet — de mappen van het apparaat lezen, de bestandslijst van de repository lezen, controleren of het model er al staat.
Problemen worden precies gemeld in plaats van als een algemene fout:
- "Dit model wordt al gedownload op {device}. Opnieuw starten zou dezelfde bestanden overschrijven."
- "{path} is niet beschrijfbaar door {user} — het is van een andere gebruiker."
- "De bestandslijst kon niet worden gelezen ({error}), dus de hele repository wordt gedownload."
Een lopende download kan met dezelfde knop worden geannuleerd. Het percentage staat per apparaat op de rij van het model, en in de koptekst verschijnt een teller: Modeldownloads toont elke taak met het apparaat, de status en het pad waarnaar is geschreven, en Voltooide wissen leegt de lijst.
Modellen op uw apparaten verkennen
Op het tabblad Gebruikersmodellen scant Modellen op uw apparaten verkennen een verbonden apparaat op modellen die het al bevat.
- Kies een apparaat en klik op Beginnen met scannen. Cordatus vraagt het apparaat om zijn HuggingFace-, Ollama- en NVIDIA NIM-modelmappen en leest die stuk voor stuk.
- Gevonden modellen worden weergegeven met grootte en type; modellen die al in uw bibliotheek staan zijn gemarkeerd als Toegevoegd, de rest als Nieuw.
- Kies Doel-engines voor de modellen die u importeert en klik op {n} model(len) toevoegen.
- Handmatig een model toevoegen dekt een model in een aangepast pad: naam, pad, type, tag en engines.
- Opnieuw scannen leest het apparaat opnieuw; alles wat het niet langer bevat, wordt opgeruimd.
GGUF-gewichten draaien alleen op llama.cpp, en het dialoogvenster zegt dat terwijl u doel-engines kiest.
Volledige details: Gebruikersmodellen.
Rechten
Zonder de rechten voor modelbeheer zijn de start- en importacties zichtbaar maar uitgeschakeld, met "U hebt geen rechten om modellen toe te voegen" bij aanwijzen.