Ana içeriğe geç

Uygulama Başlatma Kılavuzu

Bu rehber, Cordatus Platform üzerinden bir Application'ın nasıl başlatılacağını açıklar. Cordatus, kullanıcıların sistem kaynaklarını verimli bir şekilde kullanırken AI modellerini veya özel yazılımları kolayca başlatmasına, yapılandırmasına ve yönetmesine olanak tanır.

Ayrıntılar için bakınız → Application Hub Overview | Application Hub Quickstart | Container Management Guide | User Models Guide

Bir Application Seçme​

Menüden Erişim​

  1. Sol taraftaki menüden Containers'a tıklayın.
  2. Açılır listede Applications'ı seçin.
  3. Çalıştırmak istediğiniz uygulamayı seçin.

    Örnek: Referans videoda vLLM Application seçilmiştir.

Tek GPU ile Application Oluşturma

 

Birden Fazla GPU ile Application Oluşturma

 

İndirilmemiş Modelle Application Oluşturma

 

Application Detay Sayfası​

Application Detail Page, seçilen uygulama hakkındaki tüm ilgili verileri görüntüleyebileceğiniz merkezi bilgi panelidir. Bu sayfada şunları bulacaksınız:

  • Desteklenen platformlar (Server / Workstation veya Jetson)
  • Seçilen uygulamanın kısa açıklaması
  • Cordatus tarafından sağlanan teknik özet

Bu sayfada aşağıdaki sekmeler de bulunur:

  • Description: Seçilen uygulama hakkında genel bilgi
  • Versions: Cordatus içinde kayıtlı Docker imajları ve etiketleri
  • Containers: Aynı uygulama için hesabınız altında daha önce başlatılan konteynerlerin listesi
  • Models: Yalnızca LLM Engine Applications için mevcuttur ve o engine ile ilişkili modelleri gösterir

4. Uygulamayı Başlatma​

4.1 Detay Sayfasından Başlatma​

  1. Start Application düğmesine tıklayın.
  2. Açılan modal pencerede:
    • Uygulamayı çalıştırmak istediğiniz cihazı seçin ve ona bağlanın.
    • Mevcut Docker imaj sürümlerinin gösterildiği Version adımına geçin.
      • Docker imajı cihazınızda zaten mevcutsa, downloaded simgesi görünür.
      • Değilse, to be downloaded simgesi gösterilir.
  3. Ardından, Cordatus'ta konteyneriniz için yapılandırma alanı olan Advanced Settings ekranına yönlendirileceksiniz.

5. Gelişmiş Ayarlar (Advanced Settings)​

5.1 Genel Ayarlar​

  • Environment Name: Konteynerinize özel bir isim atayabilirsiniz. Boş bırakılırsa Cordatus otomatik olarak bir isim oluşturur.

  • Select GPU: Konteynerin erişebileceği GPU'ları seçin.

    • All GPU seçmek, cihazınızdaki tüm GPU'lara erişim sağlar.
    • Devam etmek için en az bir GPU seçilmelidir.

  • Resource Limits: Konteynerinizin ne kadar CPU ve RAM kullanabileceğini kontrol edin. Resource Limits bölümü, konteyner performansını optimize etmenize ve sistem kaynaklarını verimli bir şekilde yönetmenize olanak tanır.

    CPU Core Assignment: Konteynerinizin kullanacağı maksimum CPU çekirdeği sayısını sınırlayabilirsiniz.

    • Setting Limits: Konteynerin kaç CPU çekirdeği kullanabileceğini manuel olarak belirtin.

    • Host Reserved: Cordatus, cihazınızın normal şekilde çalışmaya devam etmesini sağlamak için sistem işlemleri için otomatik olarak belirli miktarda CPU çekirdeği ayırır. Bu nedenle tüm CPU çekirdeklerini maksimum limit olarak konteynere atayamazsınız.

    • No Limit Option: Tüm CPU kaynaklarını konteynere tahsis etmek istiyorsanız, sağ üst köşedeki No Limit seçeneğini işaretleyin. Bu, Host Reserved kısıtlamasını kaldırır ve tüm kaynakları konteyner için kullanılabilir hale getirir.

    RAM Assignment: Sisteminizin toplam RAM'inin ne kadarının maksimum limit olarak konteynere tahsis edilebileceğini belirtebilirsiniz.

    • Setting Limits: Konteynerin kullanabileceği RAM miktarını manuel olarak tanımlayın.

    • Host Reserved: Cordatus, cihazınızın düzgün çalışmasını sağlamak için sistem kararlılığı adına otomatik olarak belirli miktarda RAM ayırır. Bu nedenle tüm RAM kapasitesini maksimum limit olarak konteynere atayamazsınız.

    • No Limit Option: Tüm RAM kaynaklarını konteynere tahsis etmek istiyorsanız, sağ üst köşedeki No Limit seçeneğini işaretleyin. Bu, Host Reserved kısıtlamasını kaldırır ve tüm RAM'i konteyner için kullanılabilir hale getirir.

    ⚠️ Uyarı: No Limit seçeneğini kullanmak, tüm sistemi konteynere tahsis eder; bu, cihazınızın performansını ve kararlılığını olumsuz etkileyebilir. Bu seçeneği dikkatli kullanın.

    💡 Öneri: En iyi performans ve sistem kararlılığı için, kaynak tahsisi sırasında Cordatus tarafından otomatik olarak ayarlanan Host Reserved değerlerini korumanız önerilir.

5.2 LLM Engine Applications için Ayarlar​

Bu bölüm yalnızca LLM Engine Applications için geçerlidir. Standart bir uygulama başlatıyorsanız bu kısmı atlayabilirsiniz.

  • Enable Open Web UI: Etkinleştirildiğinde Cordatus, tarayıcınız üzerinden modelle doğrudan etkileşime girmenizi sağlayan ek bir Open Web UI Container otomatik olarak oluşturur.

 

  • Model Selection: Sağ tarafta, çalıştırmak istediğiniz modeli seçin. Üç seçenek mevcuttur:

    1. Cordatus Models: Cordatus sisteminde test edilmiş ve önceden kayıtlı modelleri, etiketleriyle birlikte gösterir.

      💡 Smart Volume Detection: Cihazınızda model yollarını yapılandırdıysanız, Cordatus kurulu modelleri otomatik olarak algılar ve seçilen Cordatus Model'in cihazınızda zaten mevcut olup olmadığını kontrol eder. Bulunursa, Cordatus yerel kopyanızı kullanmak için volume bağlantısını otomatik olarak yapılandırır. Model yerel olarak bulunamazsa varsayılan volume bağlantı yolu kullanılır (model konteyner başlatma sırasında indirilir), ancak gerekirse bunu Docker Options bölümünden manuel olarak değiştirebilirsiniz.

    2. Custom Model: Cordatus'ta bulunmayan bir modeli çalıştırmak istiyorsanız, adını manuel olarak Model Name or Model URL alanına girin.

    1. User Models: Daha önce tanımlayıp Cordatus hesabınıza eklediğiniz modelleri gösterir.

      💡 Not: Device X üzerindeki bir modeli Device Y üzerinde kullanmak için, önce modeli User Models'e eklemeniz gerekir. Daha fazla bilgi: User Models and Model Transfer Guide Seçilen cihaz ile modelin bulunduğu cihaz aynıysa, model herhangi bir aktarım işlemi olmadan doğrudan kullanılır. Cordatus bunu otomatik olarak algılar ve aktarım adımını atlar.

    Aynı Cihazda User Model Kullanarak Application Oluşturma
    Application Oluşturma ve Model Transfer Yapısı

    Model Transfer Feature: Model farklı bir cihaza aktarılması gerektiğinde, Cordatus aynı ağdaki cihazlar arasında sorunsuz model aktarımı sağlar.

    • Aktarım kesintiye uğrarsa, kaldığı yerden otomatik olarak devam eder
    • Aktarım tamamlandıktan sonra uygulama başlatma sürecine devam edebilirsiniz

    Automatic Volume Configuration: Seçilen inference engine'e bağlı olarak Cordatus, önceden tanımladığınız model yollarına göre volume eşlemesini otomatik olarak yapılandırır.

    Model yolları üç farklı inference engine için tanımlanabilir:

    • Huggingface
    • Ollama
    • NVIDIA NIM

    ⚠️ Önemli: User Models kullanmak için önce cihazınızda model yollarını yapılandırmanız gerekir. Cihazınıza bağlandıktan sonra Metrics > Model Info'ya gidin ve her inference engine için model yollarını tanımlayın.

5.3 Docker Seçenekleri​

Docker Options bölümü, terminal komutlarını manuel olarak yazmadan Cordatus'un sezgisel arayüzü üzerinden klasik docker run parametrelerini yapılandırmanıza olanak tanır.

  • Solda, Choose Options altında, şu gibi Docker run parametrelerini ekleyebilir veya değiştirebilirsiniz: --volume, --network, --env, --restart, --device ve diğerleri.
  • Cordatus, yapılandırmayı basitleştirmek ve doğru parametre biçimlendirmesini sağlamak için net bir grafik arayüz sunar.

Port Eşleme​

Cordatus, kullanılabilir bir port numarasını otomatik olarak önerir. Gerekirse bunu manuel olarak değiştirebilirsiniz. Zaten kullanımda olan bir port girerseniz, Port is Allocated uyarısını görürsünüz.

Volume Eşleme​

Cordatus, şunları yapabileceğiniz yerleşik bir dosya gezgini arayüzü sunar:

  • Mevcut diskleri ve dizinleri gezme,
  • Yeni klasörler oluşturma ve
  • Docker volume eşlemeleri için dizin yolları atama.

Bu özellik, konteyner verileri ile yerel dizinler arasında güvenli bağlantı kurulmasını sağlar.

5.4 Ortam Değişkenleri​

Environment Variables bölümü, uygulamanız için ortam parametrelerini tanımlar.

  • Cordatus, seçilen uygulamayla ilişkili varsayılan değişkenleri otomatik olarak gösterir.
  • Kendi değişkenlerinizi eklemek için Add your own Environment Variable seçeneğini kullanın.
  • Ortam değişkeniniz bir Token ise, Cordatus hesabınızdan önceden tanımlanmış token'lardan birini seçebilirsiniz.

    (Cordatus'a token eklemeyi öğrenmek için bu bölüme başvurabilirsiniz.)

Bu mekanizma, konteynerleriniz içinde erişim anahtarlarını, yapılandırma değerlerini ve kimlik doğrulama parametrelerini güvenli bir şekilde yönetmenizi sağlar.

5.5 Engine Argümanları​

Engine Arguments bölümü, özellikle LLM engine'ler için Cordatus uygulamanızın çalışma parametrelerini yapılandırmanıza olanak tanır.

  • Cordatus, seçilen uygulama için varsayılan engine argümanlarını otomatik olarak sağlar.
  • Yenilerini eklemek için Add your own Engine Argument seçeneğini kullanın.
  • Bu argümanlar; model optimizasyon seviyeleri, batch size, token limitleri veya çalışma modları gibi parametreleri içerebilir.

6. Konteyneri Başlatma​

Tüm yapılandırmaları tamamladığınızda Start Environment düğmesi etkinleşir.

Aşağıdaki yapılandırmalar tamamlanmış olmalıdır:

  • GPU seçimi
  • Docker Options kurulumu
  • Environment Variables (isteğe bağlı)
  • Engine Arguments (isteğe bağlı)

6.1 Container Oluşturma Süreci​

  1. Başlatmadan önce Cordatus, işlemi yetkilendirmek için Sudo Password'ünüzü isteyecektir.
  2. Seçilen Docker imajı cihazınızda mevcut değilse, Cordatus indirmek isteyip istemediğinizi soracaktır.
  3. İmaj zaten mevcutsa, Cordatus yapılandırdığınız ayarları kullanarak konteyneri otomatik olarak başlatacaktır.

6.2 Container İzleme​

Konteynerinizin durumunu ve loglarını şu bölümlerden izleyebilirsiniz:

  • Application > Containers sekmesi
  • Ana kenar çubuğundaki Containers bölümü

Burada Cordatus, konteyner çalışma zamanı bilgilerini, sağlık durumunu ve kaynak kullanım metriklerini gösterir.