Ana içeriğe geç

Kullanıcı Modelleri ve Model Aktarım Kılavuzu

Bu rehber, User Models yapısının nasıl kullanılacağını ve Cordatus Platform üzerinden cihazlar arasında Model Transfer'ın nasıl gerçekleştirileceğini açıklar.

User Models özelliği ile şunları yapabilirsiniz:

  • Bir cihaza indirilen modelleri diğer tüm cihazlarınızda kullanma
  • Aynı yerel ağdaki Cordatus'a kayıtlı cihazlar arasında model aktarımı yapma
  • İnternette bulunmayan özel modelleri aktarma ve kullanma

Ayrıntılar için bakınız → Application Hub Overview | Application Hub Quickstart | Standard Application Launch Guide | NVIDIA VSS Guide

Model Yol Yapılandırması​

User Models özelliğini kullanmak için önce cihazlarınızda model yollarını tanımlamanız gerekir.

Metrics Sayfasına Erişim​

  1. Cordatus'ta kullanmak istediğiniz cihaza bağlanın
  2. Device Table'dan Metrics alanına gidin
  3. Model Info sekmesine tıklayın

Model Yollarını Tanımlama​

Model Info sekmesinde, üç farklı inference engine için model yollarını tanımlamaya yönelik üç giriş alanı bulacaksınız:

  • Huggingface Cache Paths
  • Ollama Models Cache Paths
  • NVIDIA NIM Cache Paths

Yol Tanımlama Adımları:

  1. Her inference engine için Cordatus arayüzünden uygun dizinleri seçin
  2. Yolları tanımladıktan sonra, belirtilen dizinde bulunan modeller hakkında bilgi görüntüleyebilirsiniz
Important

User Models özelliğinin düzgün çalışması için model yollarının doğru tanımlanması zorunludur.

Cihazınızdaki Modelleri Keşfetme ve Ekleme​

LLM Models Sayfasına Erişim​

  1. Sol taraftaki menüden LLM Models sekmesine tıklayın
  2. Sağ üstteki Application-Hub / User Models seçeneklerinin yanındaki Explore Models on Your Device düğmesine tıklayın
  3. Açılan menüden kullanmak istediğiniz cihazı seçin

Model Ekleme Yöntemleri​

Bir cihaz seçtikten sonra, modelleri iki farklı yöntemle ekleyebilirsiniz:

Yöntem 1: Start Scanning (Otomatik Tarama)​

Bu yöntem, Cordatus'un daha önce tanımladığınız yollarda bulunan modelleri otomatik olarak tespit etmesini sağlar.

Tarama Süreci:

  1. Start Scanning düğmesine tıklayın
  2. Cordatus, tanımlanan yollardaki tüm modelleri tarayacaktır

Görüntülenen Bilgiler:

  • Model adı
  • Modelin bulunduğu dizin
  • Dosya boyutu
  • Sisteme daha önce eklenip eklenmediği
  • Hangi inference engine'lerle kullanılabileceği

Model Ekleme:

  1. Sisteme eklemek istediğiniz modellerin solundaki onay kutularını işaretleyin
  2. Özel bir model oluşturduysanız, bu alanda model adını düzenleyebilirsiniz
  3. Seçilen modelleri sisteme eklemek için Add Models düğmesine tıklayın

Yeniden Tarama:

  • Sağ üstteki Rescan düğmesini kullanarak istediğiniz zaman yeni bir tarama gerçekleştirebilirsiniz

Yöntem 2: Add New Model Manually (Manuel Ekleme)​

Bu yöntem, cihazınızda bulunan bir modeli sisteme manuel olarak eklemenizi sağlar.

Manuel Ekleme Adımları:

  1. Add New Model Manually seçeneğine tıklayın
  2. Cordatus arayüzünden model dizinine gidin
  3. Eklemek istediğiniz modeli seçin
  4. Model bilgilerini gözden geçirin ve onaylayın

Bu yöntem, özellikle standart yolların dışında bulunan modeller için kullanışlıdır.

User Models Yönetimi​

User Model Operations

 

User Models Listesini Görüntüleme​

  1. LLM Models sayfasında, sağ üstteki Application-Hub / User Models sekmelerinden User Models sekmesine geçin
  2. Sisteme eklediğiniz tüm modelleri bir liste olarak görüntüleyebilirsiniz

Model Bilgisi​

User Models listesindeki her model için şu bilgiler görüntülenir:

  • Model adı
  • Modelin bulunduğu cihaz
  • Model boyutu
  • Desteklenen inference engine'ler
  • Model durumu (aktif/pasif)

Model Bilgisini Düzenleme ve Silme​

Sisteme eklediğiniz modelleri istediğiniz zaman düzenleyebilir veya silebilirsiniz:

Model Bilgisini Düzenleme:

  • Model adını değiştirebilirsiniz
  • Quantization bilgisini güncelleyebilirsiniz (örn. Q4_K_M, Q8_0, FP16)
  • Parameters bilgisini düzenleyebilirsiniz (örn. 7B, 13B, 70B)
  • Diğer meta verileri güncelleyebilirsiniz

Model Silme:

  • User Models listesinden istediğiniz zaman herhangi bir modeli silebilirsiniz
  • Silme işlemi yalnızca kaydı Cordatus sisteminden kaldırır
  • Modelin fiziksel dosyaları cihazınızda kalmaya devam eder
Note

Model bilgisini düzenlemek, özellikle özel modeller için önemlidir. Doğru quantization ve parameter bilgisi, modelin hangi donanımda çalışacağını belirlemenize yardımcı olur.

Model Aktarımı ve Kullanımı​

Model Transfer and Deployment

 

Bir Modeli Dağıtma​

User Models listesinden bir modeli kullanmak için:

  1. Kullanmak istediğiniz modelin yanındaki Deploy düğmesine tıklayın
  2. Açılan menüden bir inference engine seçin (vLLM, TensorRT-LLM vb.)
  3. Sistem sizi Application Launch arayüzüne yönlendirecektir

Model Aktarım Süreci​

Farklı bir cihazda bir modeli kullanmak istediğinizde:

Aktarım Kontrolü:

  • Cordatus, modelin hedef cihazda olup olmadığını otomatik olarak kontrol eder
  • Model hedef cihazda yoksa, kullanıcı aktarım sürecini başlatabilir

Aktarım Özellikleri:

  • Aktarım süreci kesintiye uğrarsa, kaldığı yerden devam eder
  • Aktarım sırasında ilerlemeyi takip edebilirsiniz
  • Aktarım tamamlandıktan sonra uygulama başlatma sürecine devam edebilirsiniz

Otomatik Volume Yapılandırması:

  • Seçilen inference engine'e bağlı olarak Cordatus, volume eşlemesini otomatik olarak gerçekleştirir
  • Gerekli dizinler, daha önce tanımladığınız model yollarına göre bağlanır

Uygulamayı Başlatma​

Model aktarımı tamamlandıktan sonra:

  1. Advanced Settings ekranı açılacaktır
  2. Gerekli ayarları yapılandırın (GPU seçimi, Docker Options vb.)
  3. Konteyneri başlatmak için Start Environment düğmesine tıklayın
Note

Uygulama başlatma süreciyle ilgili detaylı bir açıklama için lütfen Standard Application Launch Guide'a başvurun.

7. En İyi Uygulamalar​

7.1 Model Yolu Yönetimi​

  • Model yollarını her cihazda tutarlı bir şekilde tanımlayın
  • Modelleri organize bir klasör yapısında saklayın
  • Yedeklemeler için harici depolama alanları kullanın

7.2 Model Aktarım İpuçları​

  • Büyük modelleri aktarmadan önce yeterli disk alanı olduğundan emin olun
  • Model aktarımlarını yoğun ağ trafiğinin olmadığı zamanlarda gerçekleştirin
  • Aktarım sırasında cihazların aynı ağda kalmasını sağlayın

7.3 Model Organizasyonu​

  • Model isimlerini anlamlı ve tutarlı bir şekilde tanımlayın