LLM Modelleri
LLM Başlatıcı → LLM Modelleri model kataloğudur. Dört kaynağı bir araya getirir — Hugging Face, Ollama, NVIDIA NIM ve kendi cihazlarınızda hâlihazırda duran modeller — ve bunları sahip olduğunuz donanıma göre filtreleyip bir cihaza indirmenizi ve başlatmanızı sağlar.
Dört sekme
Aralarında gezinmek için alt başlıktaki ‹ › gezgini kullanın.
| Sekme | Listelediği |
|---|---|
| Hugging Face | Hugging Face hub'ı, çıkarım için filtrelenmiş ve sıralanmış hâlde. |
| Ollama | Ollama kütüphanesi, her etiket için pull komutuyla. |
| NVIDIA NIM | NVIDIA NIM mikroservisleri. |
| Kullanıcı Modelleri | Cihazlarınızda bulunan ve Cordatus'a kaydedilmiş modeller. Bkz. Kullanıcı Modelleri. |
Arama
Tek bir alan; şunları kabul eder:
- serbest metin — "Modelleri arayın veya URL yapıştırın…", ya da
- tam bir model URL'si; bu durumda tanınan kaynağı belirten bir rozet belirir.
Hugging Face sekmesinde, bir arama türü seçilene kadar alan pasif kalır.
Filtreler
Filtreler filtre panelini açar; düğmenin üzerinde kaç filtrenin etkin olduğu yazar.
Donanım filtreleri
Bu ikisi birbirini dışlar — Cordatus biri seçiliyken diğerini pasifleştirir ve nedenini söyler.
- Jetson Cihazı — bir Jetson modülü seçin, liste onun çalıştırabileceklerine daralır. Parametre filtresi bundan sonra o cihaz tarafından otomatik olarak sürülür.
- GPU Cihazı — listeden bir GPU modeli seçin; kaç adedine sahip olduğunuz için + / − sayaç bulunur. Her kayıt kendi VRAM'ini gösterir.
- Cihazdan — bir GPU adı vermek yerine, bağlı cihazlarınızdan birinin gerçek GPU'larını okur. Diyalog sizi Bağlı bir cihaz seçin → GPU'ları seçin adımlarından geçirir; her GPU için toplam, kullanılan ve boş VRAM'i gösterir ve Yalnızca GPU'su olan cihazlar ile sınırlanabilir. Uygulandığında cihazı ve toplam VRAM'ini gösteren bir çip belirir; × ile temizlenir.
Katalog filtreleri (Hugging Face)
- Sırala — trend, indirme, beğeni, güncellik vb.
- Parametre Aralığı — alışılmış parametre boyutları üzerinde iki tutamaçlı bir kaydırıcı. Bir Jetson cihazı veya GPU seçiliyken pasiftir, çünkü onlar bu filtreyi otomatik olarak sürer.
- Gelişmiş Filtreler — Motorlar, Yayıncılar ve Modeller; her biri bir öncekine bağlıdır (Önce Motor Seçin, Önce Yayıncı Seçin).
Kullanıcı Modelleri filtresi
- Motora göre filtrele — listeyi tek bir çıkarım motoruna kayıtlı modellere daraltır.
Etkin filtreler panelin altında kaldırılabilir çipler olarak görünür; TÜMÜNÜ TEMİZLE ile hepsi kaldırılır.
Bir model satırı
Her satır modeli, yayıncısını, boyutunu ve parametre sayısını, bir de kilit göstergesini gösterir:
- "Bu model açıktır ve erişim belirteci gerektirmez."
- "Bu modeli indirmek için erişim belirteci gerekir. Geçerli bir Hugging Face token'ı sağlamanız gerekir."
Jetson için ayrı bir Uyumlu Jetson Cihazları satırı, hangi modüllerinizin bu modeli çalıştırabileceğini listeler ya da "Bu model için uyumlu Jetson cihazı bulunamadı." der. Karar için gereken meta veri katalogda yoksa, tahmin yürütmek yerine neyin eksik olduğunu söyler.
Satırdaki aksiyonlar:
| Aksiyon | Sonuç |
|---|---|
| AI Başlatma | AI Başlatma'yı bu modelle açar. Bu model için bir cihaz bulun; motoru, imajı, GPU'ları ve bayrakları planlayın. |
| Manuel → Şununla manuel çalıştır… | Seçtiğiniz motorla başlatma sihirbazını açar. |
| Dağıt | Modeli, kataloğuna baktığınız motor için sihirbaza gönderir. |
| İndir | Ağırlıkları cihazlarınızdan birine indirir. |
| Bilgi Al | Henüz önbelleğe alınmamışsa modelin ayrıntılarını Hugging Face'ten çeker. |
Daha Fazla LLM Modeli Yükle listede sayfa sayfa ilerler.
Bir modeli cihaza indirmek
İndir, işin tamamını tarayıcınız üzerinden değil, cihaz üzerinde yapan bir diyalog açar.
- Cihaz — kayıtlı tüm cihazlar, çevrimiçi/çevrimdışı işaretiyle. Hiç cihazınız yoksa: "Hesabınıza kayıtlı cihaz yok. Cihazlar sayfasından bir tane ekleyin."
- Dizin — o cihazda kayıtlı model dizinleri. Henüz hiçbiri kayıtlı değilse diyalog bunu söyler ve Bir dizin ekle ile bir tane kaydeder. Dizinin yükseltilmiş yetkiyle oluşturulması gerekiyorsa Cordatus tam olarak ne yapacağını açıklar: "Yalnızca dizin root olarak oluşturulur; indirme işlemi değil."
- Nicemleme / Profil — bir depo aynı modeli birkaç farklı biçimde yayımlıyorsa, yalnızca
seçtiğiniz indirilir, artı paylaşılan dosyalar. Tüm quantization'lar hepsini indirir. Kendi
başına bir nicemleme olmayan serbest
.ggufdosyaları, Tüm quantization'lar seçilmedikçe dışarıda bırakılır. - Token — kayıtlı bir token seçin ya da yapıştırın. Açık modeller için isteğe bağlıdır; hız sınırı olan yerlerde isteğe bağlı ama daha hızlı.
- sudo şifresi, dizin gerektirdiğinde. Cihazda kayıtlı bir şifre varsa Cordatus onu kullanır ve bunu size söyler: "Şifre hiçbir zaman tarayıcınıza gönderilmez."
Kayıtlı dizinlerin yanı sıra Başka bir dizin…, cihazın kendi dosya gezginini açar; böylece hiç kaydedilmemiş bir yol da kullanılabilir.
Başlamadan önce diyalog maliyeti söyler — "Cihaz başına yaklaşık {size} hub'dan seçili cihaza çekilecek. Bu sayfayı kapatsanız da her cihaz devam eder." — ve ağırlıklar zaten oradaysa bunu belirtip düğmeyi Cihazda doğrula'ya çevirir: "Zaten burada: {n} dosyanın tamamı mevcut. Yine de başlatmak onları doğrular, hiçbir şey indirmez."
Hazırlık sürerken diyalog ne yaptığını anlatır — cihazın dizinlerini okumak, deponun dosya listesini okumak, modelin zaten orada olup olmadığını denetlemek.
Sorunlar genel bir hata yerine tam olarak bildirilir:
- "Bu model {device} üzerinde zaten indiriliyor. Yeniden başlatmak aynı dosyaların üzerine yazar."
- "{path}, {user} tarafından yazılabilir değil — başka bir kullanıcıya ait."
- "Dosya listesi okunamadı ({error}), bu yüzden deponun tamamı indirilecek."
Süren bir indirme aynı düğmeden iptal edilebilir. Yüzdesi, modelin satırında cihaz cihaz görünür ve üst çubukta bir sayaç belirir: Model indirmeleri her işi cihazı, durumu ve yazdığı yol ile listeler; Bitenleri temizle listeyi boşaltır.
Cihazlarınızdaki Modelleri Keşfedin
Kullanıcı Modelleri sekmesindeki Cihazlarınızdaki Modelleri Keşfedin, bağlı bir cihazı hâlihazırda barındırdığı modeller için tarar.
- Bir cihaz seçip Taramayı başlat'a basın. Cordatus cihazdan HuggingFace, Ollama ve NVIDIA NIM model dizinlerini ister ve her birini okur.
- Bulunan modeller boyutu ve türüyle listelenir; kütüphanenizde zaten olanlar Eklendi, diğerleri Yeni olarak işaretlenir.
- İçe aktardığınız modeller için Hedef motorlar'ı seçin, sonra {n} model ekle'ye basın.
- Elle model ekle, özel bir yoldaki modeli kapsar: ad, yol, tür, etiket ve motorlar.
- Yeniden tara cihazı yeniden okur; artık orada olmayan her şey temizlenir.
GGUF ağırlıkları yalnızca llama.cpp üzerinde çalışır ve diyalog, hedef motorları seçerken bunu söyler.
Tüm ayrıntılar: Kullanıcı Modelleri.
İzinler
Model yönetimi izniniz yoksa başlatma ve içe aktarma aksiyonları görünür ama pasiftir; üzerine gelindiğinde "Model ekleme izniniz yok" yazar.