Ana içeriğe geç

Kullanıcı Modelleri

Kullanıcı Modelleri, LLM Modelleri sayfasının dördüncü sekmesidir: kendi cihazlarınızda hâlihazırda duran ve Cordatus'a kaydedilmiş modeller. Böylece bunları yeniden indirmeden başlatabilir ya da ihtiyaç duyan başka bir cihaza aktarabilirsiniz.

Cihazdaki model yolları, tarama ve içe aktarma, meta veri düzenleme ve iki başlatma yolu

 

1. Cihazdaki model yollarını yapılandırın​

Cordatus yalnızca söylediğiniz yere bakar. Model yolları cihaz bazındadır.

  1. Cihazlar'a gidip cihazı açın.
  2. Modeller sekmesini açın.
  3. Depolama Yolları altında kullandığınız her kaynak için bir yol ekleyin:
    • HuggingFace önbellek yolu
    • Ollama modeller yolu
    • NVIDIA NIM önbellek yolu
    • Diğer her şey için Özel yollar
  4. İndirilen Modeller ardından her yolun altında bulunanları listeler; model başına bir Dağıt düğmesi ve bir Modelleri yenile aksiyonu bulunur.

Bir yolu kaldırmak onu yalnızca ayarlardan kaldırır — model dosyalarınız silinmez.

not

Bir yol yapılandırılana kadar o kaynak boş bir model listesi yerine "HuggingFace yolu yapılandırılmamış" (Ollama ve NIM için de aynısı) der; böylece "orada bir şey yok" ile "bakacak yer yok" ayırt edilebilir.

uyarı

Model aktarımı hedef cihazda da bir yol gerektirir. Eksikse şunu alırsınız: "{type} model yolu hedef cihazda yapılandırılmamış. Aktarmadan önce Cihaz Ayarları → Model Yolları bölümünden yapılandırın."

2. Modelleri kütüphanenize aktarın​

İki yol vardır, ikisi de LLM Modelleri → Kullanıcı Modelleri üzerinden.

Cihazlarınızdaki Modelleri Keşfedin (tarama)​

  1. Cihazlarınızdaki Modelleri Keşfedin'e basın.
  2. Bağlı bir cihaz seçin — "Hâlihazırda barındırdığı modelleri keşfetmek için bağlı bir cihaz seçin."
  3. Taramayı başlat. Cordatus cihazdan HuggingFace, Ollama ve NVIDIA NIM model dizinlerini ister, sonra her birini okur.
  4. Sonuç, bulunan her modeli boyutu ve türüyle listeler. Kütüphanenizde zaten olanlar Eklendi, diğerleri Yeni olarak işaretlenir. Klasör boyutları iş ilerledikçe hesaplanır.
  5. İçe aktardığınız modeller için Hedef motorlar'ı seçin.
  6. {n} model ekle onları içe aktarır.

Yeniden tara cihazı yeniden okur ve artık orada olmayan her şeyi temizler.

not

GGUF ağırlıkları yalnızca llama.cpp üzerinde çalışır; diyalog hedef motorları seçerken bunu belirtir.

Elle model ekle​

Taramanın kapsamadığı bir yoldaki model için:

  1. Elle model ekle (ya da Özel Model Ekle).
  2. Cihaz Seç — bağlı bir cihaz.
  3. Model Yolu — dizine göz atın.
  4. Model Adı — varsayılan olarak yoldan alınır, düzenlenebilir.
  5. Motor Seç — bu modelin hangi çıkarım motorları için olduğu.
  6. Ollama modellerinde Cordatus etiketi algılar ve hangisinin kullanılacağını sorar ("Model etiketini seçin (örn. 1b, 4b, latest)").
  7. Modeli Kaydet.

3. Kullanıcı Modelleri listesi​

Her kayıt şunları gösterir:

AlanAnlamı
ModelAdı.
CihazHangi cihazda durduğu.
YolO cihazda nerede olduğu.
BoyutDiskteki boyutu.
ParametrelerBiliniyorsa parametre sayısı.
NicemlemeBiliniyorsa nicemlemesi.
OluşturulduNe zaman kaydedildiği.

Listeyi Motora göre filtrele ile daraltın; Seçilenleri Sil için birden fazla satır seçin.

Bir modeli düzenlemek​

Düzenle, Model meta verisini tüm motorlarda güncelle diyalogunu açar:

  • Model Adı — sabittir; ad değiştirilemez.
  • Model Boyutu, Parametreler (biçim: 7B, 500M, 1.5B), Nicemleme (bit genişliği gösterilir).

Diyalog, değişikliğin kaç motor kaydına uygulanacağını belirtir.

4. Bir Kullanıcı Modelleri kaydını başlatmak​

Satır başına iki düğme:

  • AI Başlatma — "Bu model için bu cihazda motoru, imajı, GPU'ları ve bayrakları planla." Cihaz zaten bilindiği için AI Başlatma doğrudan o cihaz için plan yapar.
  • Manuel → Şununla manuel çalıştır… — Başlatma sihirbazını model önceden seçilmiş hâlde açar.

Sihirbazın içinde Kullanıcı Modelleri, Model bölmesindeki üç model kaynağından biridir ve model başına bir durum gösterir:

  • Tamamlandı – Kullanıma hazır
  • Eksik – Aktarım sürdürülebilir
  • Aktarım gerekli

5. Cihazlar arası model aktarımı​

Dağıtım yapacağınız cihazdan farklı bir cihazda duran bir model seçerseniz, Cordatus aktarım önerir.

DiyalogNe zaman
Model Aktarımı GerekliNormal durum. Model boyutunu ve kaynak yolunu gösterir.
Model Aktarımını SürdürÖnceki bir deneme yarım kalmış. Ne kadarının hazır olduğunu ve kaç dosyanın eksik ya da yarım olduğunu gösterir.
Bozuk Dosyalar BulunduSağlama doğrulaması başarısız oldu; etkilenen dosyalar yeniden indirilir.

Aktarım sırasında genel yüzdeyi, toplamın kaç baytının indirildiğini, toplamın kaç dosyasının tamamlandığını ve o an inen dosya için ayrı bir ilerleme çubuğunu görürsünüz. Aktarımı İptal Et durdurur; yarım indirme daha sonra sürdürülebilir.

Yalnızca API Kullan, model kopyalanmak yerine bir API üzerinden erişilebilir olduğunda aktarımı tamamen atlar.

Aktarım bittiğinde model için volume eşlemesi, başlattığınız motora göre otomatik yapılandırılır.

ipucu

Aktarımlar tarayıcınız üzerinden değil, kendi ağınızda cihazdan cihaza yapılır. Diyalogu kapatabilirsiniz; başlatma aktarımın bitmesini bekler.

İyi pratikler​

  • Dağıtım yaptığınız her cihaza aynı üç yolu kaydedin. Aktarımı, taramayı ve "zaten cihazda" tespitini çalıştıran şey budur.
  • Parametre sayısı ve nicemlemeyi dolu tutun — GPU uyum danışmanı ve VRAM hesapları bunları kullanır.
  • Cihazdaki modelleri sildikten sonra Yeniden tara kullanın; böylece kütüphane artık var olmayan ağırlıklar için kayıt tutmaz.
  • Bir Kullanıcı Modelleri satırından AI Başlatma'yı tercih edin: model yerelde olduğu için plan, Hugging Face meta verisinden değil gerçek dosyalardan yapılır.