Ana içeriğe geç

Cihaz Modelleri

Bir cihazın Models sekmesi, o makinenin diskinde hâlihazırda duran model ağırlıklarını gösterir — ve hiçbir şey indirmeden bunlardan herhangi birini başlatmanızı sağlar.

Cordatus dosya sistemini kendiliğinden taramaz. Yalnızca söylediğiniz yere bakar; bu yüzden sekmenin iki yarısı vardır: solda dizinleri kaydettiğiniz Depolama Yolları, sağda bu yolların altında bulunan her şeyin listelendiği İndirilen Modeller.

Devices → cihazınız → Models.

Video placeholder

Fleet-Management/device-models.mp4 — bir HuggingFace önbellek yolunun eklenmesi, modellerin tabloda belirmesi, Ollama ve NIM'e geçiş ve bir modelin doğrudan satırından dağıtılması.


Depolama Yolları

Sol panel yolları kaynağa göre gruplar: HuggingFace, Ollama ve NIM. Bölümlü seçiciyle bir kaynak seçin, sonra panel başlığındaki + düğmesiyle (Yol ekle) bir yol ekleyin.

Yollar cihaz başına saklanır. Bir makinede ~/.cache/huggingface kaydetmek başka hiçbir makine için bir şey ifade etmez.

Yol ekleme

  1. + (Yol ekle) düğmesine basın.
  2. Cihazın dosya sisteminde gezinip dizini seçin.
  3. Cordatus yolu cihazda doğrular ve kaydeder. Liste hemen yenilenir.

Doğrulama yolun kendisiyle ilgilidir, içeriğiyle değil:

MesajAnlamı
✓ Geçerli yolDizin var ve okunabiliyor.
Seçilen yol mevcut değilCihazda böyle bir şey yok.
Seçilen yol bir dizin değilBir dosya seçtiniz.
Bu yol zaten eklenmişYinelenen kayıt — mevcut girdi kalır.

Model barındırmayan geçerli bir yol hata değildir. Kaydedilir ve altında bir şey belirene kadar tablo boş kalır.

Hangi dizini vermeli

KaynakKaydedilecek dizinTaranan yer
HuggingFaceHuggingFace önbellek kökü, örn. ~/.cache/huggingface (ya da doğrudan içindeki hub klasörü)models--org--ad biçimindeki dizinler; hem yolun kendisinde hem bir hub alt klasöründe. Ad yeniden org/ad hâline çevrilir.
OllamaOllama kökü, örn. ~/.ollama — yani models klasörünü içeren dizinmodels/manifests/registry.ollama.ai/library. Her modelin her etiketi bir satır olur, model:etiket diye adlandırılır ve boyutu manifest katmanlarından okunur.
NVIDIA NIMNIM önbellek kökümodels--… biçimindeki dizinler; hem yolun kendisinde hem ngc/hub altında.

Bir kaynak için birden çok yol kaydedebilirsiniz — ikinci bir disk, ikinci bir kullanıcının önbelleği. Hepsi taranır ve sonuçlar birleştirilir; iki kez bulunan bir model bir kez listelenir.

Yol kaldırma

Yolun yanındaki × düğmesine basıp onaylayın. Diyalog ne olacağı konusunda açıktır:

not

Bu yalnızca yolu ayarlardan kaldırır. Model dosyalarınız silinmez.


İndirilen Modeller

Sağ panel, seçili kaynak için kayıtlı yolların altında bulunan her şeyi listeler. Kaynağı başlığındaki bölümlü seçiciyle değiştirin; (Modelleri yenile) cihazı yeniden tarar.

SütunHuggingFaceOllamaNVIDIA NIM
Model Adıorg/admodel:etiketorg/ad
Kaynak YolHangi kayıtlı yolun altında bulunduğu — iki kopyayı böyle ayırt edersiniz
BoyutKlasörün diskteki boyutuManifest katmanlarının toplamıDiskteki boyut
Son Değiştirilme
NicemlemeEtiketten okunur (Q4_K_M, FP16, …), adında geçtiğinde
Sürüm
Dağıt

Alt bilgi satır sayısını gösterir.

Özel rozeti

HuggingFace yolundaki, models--… önbellek adlandırmasına uymayan bir model de yakalanır — yeter ki klasöründe gerçek ağırlıklar olsun: bir config.json ya da .safetensors, .bin, .gguf, .pth dosyaları. Bu satırlar Özel rozeti taşır ve klasörlerinin adıyla anılır.

Elle klonladığınız ya da kopyaladığınız bir model, önbelleğin indirdiklerinin yanında böyle görünür.

not

Özel algılama yalnızca HuggingFace yolu için geçerlidir. Ollama ve NIM kendi dizin yapıları üzerinden okunur.

Boş durumlar

DurumAnlamı
Yapılandırılmış yol yokModelleri listelemeye başlamak için bir {tür} yolu ekleyin.Bu kaynak için henüz kayıt yok.
Yapılandırılmış HuggingFace yolu yok (ve Ollama / NIM karşılıkları)Tablonun okuyacağı bir şey yok; soldan bir yol ekleyin.
HuggingFace modeli bulunamadıYollar kayıtlı ve okunabilir, ama altında eşleşen bir şey yok.

Tablodan model dağıtma

Dağıt, o satırdaki modeli yolu önceden doldurulmuş hâlde başlatma akışına taşır — hiçbir şey indirilmez, konteyner ağırlıkları doğrudan diskten okur.

  • Kaynaklar motorlarla otomatik eşleşir: HuggingFace modelleri vLLM, TensorRT-LLM, SGLang ve Dynamo'ya; Ollama modelleri Ollama'ya; NIM modelleri NIM'e.
  • Yalnızca bir motor eşleşiyorsa Dağıt doğrudan oraya götürür.
  • Birkaçı eşleşiyorsa düğme bir menü açar ve motoru siz seçersiniz.
  • O motorun başlatma sayfasına, model seçili hâlde düşersiniz; her zamanki gibi devam edin — cihaz, sürüm, hesaplama, erişim, geçersiz kılmalar, başlat.
MesajAnlamı
{kaynak} için kullanılabilir motor yokHesabınızda bu kaynağı işleyen bir motor yok.
"X" motoru için konteyner bulunamadıMotorun kayıtlı bir konteyner imajı yok.

Bunun LLM Modelleri ile ilişkisi

Kolayca karıştırılan iki farklı şey:

Devices → cihaz → ModelsLLM Başlatıcı → LLM Modelleri → Kullanıcı Modelleri
KapsamTek cihaz, diskinden canlı okunurHesabınızın tamamı
Doğruluk kaynağıDosya sistemi, şu anki hâliyleCordatus'a kaydettiğiniz modeller
Ne işe yararOrada zaten ne olduğunu görmek ve başlatmakEtiketleri, üstverisi ve motorlarıyla her başlatma akışında kullanılabilen bir katalog

Tek bir yerde buluşurlar: Kullanıcı Modelleri sekmesindeki Explore Models on Your Devices, bir cihazı tam olarak bu kayıtlı yollarla tarar ve bulduklarını kitaplığınıza aktarır. Yani burada kaydedilen bir yol o taramayı da çalışır hâle getirir. Bkz. Kullanıcı Modelleri.

uyarı

Model aktarımı için hedef cihazda da bir yol gerekir. Bir modeli, o kaynak için kayıtlı yolu olmayan bir makineye taşımak şu hatayla başarısız olur: "{tür} model yolu hedef cihazda yapılandırılmamış."


Sorun giderme

BelirtiSebep ve çözüm
Sekme boş ve hiçbir şey yüklenmiyorCihaz Online olmalı — yollar ve modeller cihazın kendisinden okunur.
Yol eklendi ama tablo boş kalıyorDizin geçerli ama altında o kaynağın düzenine uyan bir şey yok. Hangi dizini vermeli tablosuna bakın — Ollama için verilecek dizin models klasörünü içeren dizindir, models klasörünün kendisi değil.
Model diskte var ama listelenmiyorHuggingFace yolunun altında ya models--… önbellek adlandırmasına ya da klasöründe tanınabilir ağırlık dosyalarına ihtiyaç vardır. Aksi hâlde LLM Modelleri → Kullanıcı Modelleri → Add a model manually ile elle kaydedin.
Ollama boyutları yanlış görünüyorOllama boyutları dizin taramasından değil manifest katmanlarından gelir; bu yüzden ortak katmanlar her etiket için ayrı sayılır.
Aynı model iki kez görünüyorİki kayıtlı yolun altında birden var. Kaynak Yol sütunu hangisinin hangisi olduğunu söyler.
Dağıt soluk görünüyorHesabınızda o kaynak için kayıtlı bir motor yok.