Ana içeriğe geç

NVIDIA AI Dynamo Oluşturma Kılavuzu

Bu rehber, Cordatus Platform üzerinden NVIDIA AI Dynamo'nun nasıl oluşturulacağını ve yapılandırılacağını açıklar. NVIDIA AI Dynamo, büyük dil modellerinin (LLM) çoklu GPU ve çoklu node ortamlarında verimli bir şekilde çalıştırılmasını sağlayan güçlü bir dağıtık runtime framework'üdür.

Cordatus sayesinde kullanıcılar, tercih ettikleri modelle NVIDIA AI Dynamo'yu vLLM Runtime üzerinde minimum yapılandırmayla kolayca başlatabilir. Bu, prefill ve decode işlemlerinin birden fazla GPU arasında akıllıca dağıtılmasını sağlayarak hem performansı hem de ölçeklenebilirliği optimize eder.

Ayrıntılar için bakınız → Application Hub Overview | Application Hub Quickstart | Standard Application Launch Guide | Container Management Guide

NVIDIA AI Dynamo Hakkında​

NVIDIA AI Dynamo, büyük ölçekli AI model iş yükleri için tasarlanmış yüksek performanslı bir dağıtık çalıştırma motorudur. Belleği, hesaplamayı ve iletişimi verimli bir şekilde yöneterek birden fazla GPU veya node'un büyük LLM görevlerini işbirliği içinde işlemesine olanak tanır.

Dynamo aşağıdaki temel yetenekleri sunar:

  • GPU'lar arasında prefill ve decode görevlerinin paralel çalıştırılması
  • KV Cache bloklarının optimize edilmiş yönetimi
  • Worker'lar arasında düşük gecikmeli veri aktarımları
  • Dağıtık inference iş yükleri için dinamik ölçeklenebilirlik

Cordatus Platform, kullanıcı dostu bir arayüzle Dynamo'nun teknik karmaşıklığını soyutlayarak kullanıcıların runtime modlarını, yönlendirme stratejilerini, connector'ları ve GPU atamalarını zahmetsizce tanımlamasına olanak tanır.

NVIDIA AI Dynamo Başlatma Adımları​

Uygulamayı Seçme​

  1. Sol taraftaki menüden Containers'a tıklayın.
  2. Açılan alt menüden Applications'ı seçin.
  3. Uygulama listesinden Dynamo'yu seçin ve Detay sayfasına gidin.
Aggregated Mode ile Dynamo Oluşturma

 

Disaggregated Mode ile Dynamo Oluşturma

 

Cihaz ve Sürüm Seçimi​

  1. Start Application'a tıklayın.
  2. Açılan modal pencerede, NVIDIA Dynamo'yu çalıştırmak istediğiniz cihazı seçin ve ona bağlanın.
  3. Mevcut Docker imaj sürümlerinin gösterildiği Version adımına geçin.
    • İmaj cihazınızda zaten kuruluysa, indirilmiş simgesi görünür.
    • Değilse, indirilecek simgesi gösterilir.

Gelişmiş Ayarlar​

Son adım sizi, NVIDIA AI Dynamo konteynerinizi başlatmak için tüm parametreleri yapılandırabileceğiniz Advanced Settings sayfasına götürür.

Gelişmiş Ayarlar Detayları​

Genel Ayarlar​

  • Environment Name: Konteynerinize özel bir isim atayın. Boş bırakılırsa Cordatus otomatik olarak bir isim oluşturur.

  • Enable Open Web UI: Etkinleştirildiğinde Cordatus, dağıtım sırasında otomatik olarak bir Open Web UI container oluşturur. Bu, çalışan modelinizle doğrudan bir tarayıcı arayüzü üzerinden etkileşime girmenizi sağlar.

    Daha fazla bilgi: İşlevsellik ve yapılandırma, standart uygulamalarla aynıdır. Detaylı açıklama ve video eğitimi için Enable Open Web UI - Bölüm 5.2'ye bakın.

  • Model Selection: Sağ alt panelde, çalıştırılacak modeli seçebilirsiniz. Üç seçenek mevcuttur:

    1. Cordatus Models: Cordatus sisteminde önceden test edilmiş ve kayıtlı modelleri, etiketleriyle birlikte gösterir.

      💡 Smart Volume Detection: Cihazınızda model yollarını yapılandırdıysanız, Cordatus kurulu modelleri otomatik olarak algılar ve seçilen Cordatus Model'in cihazınızda zaten mevcut olup olmadığını kontrol eder. Bulunursa, Cordatus yerel kopyanızı kullanmak için volume bağlantısını otomatik olarak yapılandırır. Model yerel olarak bulunamazsa varsayılan volume bağlantı yolu kullanılır (model konteyner başlatma sırasında indirilir), ancak gerekirse bunu Docker Options bölümünden manuel olarak değiştirebilirsiniz.

    2. Custom Model: Çalıştırmak istediğiniz model sistemde yoksa, adını manuel olarak Model Name alanına girin.

      Daha fazla bilgi: Kullanım, standart uygulamalarla aynıdır. Detaylı açıklama ve video eğitimi için Custom Model - Bölüm 5.2'ye bakın.

    3. User Models: Daha önce tanımlayıp Cordatus hesabınıza eklediğiniz modelleri gösterir.

      Daha fazla bilgi: Yapılandırma ve kullanım süreci standart uygulamalarla aynıdır. Aşağıdakiler dahil eksiksiz ayrıntılar için User Models - Bölüm 5.2'ye bakın:

      • Aynı Cihaz Kullanımı
      • Model Transfer Özelliği
      • Otomatik Volume Yapılandırması
      • Her iki senaryo için video eğitimleri

  • Resource Limits: Konteynerinizin ne kadar CPU ve RAM kullanabileceğini kontrol edin. Resource Limits bölümü, konteyner performansını optimize etmenize ve sistem kaynaklarını verimli bir şekilde yönetmenize olanak tanır.

    CPU Core Assignment: Konteynerinizin kullanacağı maksimum CPU çekirdeği sayısını sınırlayabilirsiniz.

    • Setting Limits: Konteynerin kaç CPU çekirdeği kullanabileceğini manuel olarak belirtin.

    • Host Reserved: Cordatus, cihazınızın normal şekilde çalışmaya devam etmesini sağlamak için sistem işlemleri için otomatik olarak belirli miktarda CPU çekirdeği ayırır. Bu nedenle tüm CPU çekirdeklerini maksimum limit olarak konteynere atayamazsınız.

    • No Limit Option: Tüm CPU kaynaklarını konteynere tahsis etmek istiyorsanız, sağ üst köşedeki No Limit seçeneğini işaretleyin. Bu, Host Reserved kısıtlamasını kaldırır ve tüm kaynakları konteyner için kullanılabilir hale getirir.

    RAM Assignment: Sisteminizin toplam RAM'inin ne kadarının maksimum limit olarak konteynere tahsis edilebileceğini belirtebilirsiniz.

    • Setting Limits: Konteynerin kullanabileceği RAM miktarını manuel olarak tanımlayın.

    • Host Reserved: Cordatus, cihazınızın düzgün çalışmasını sağlamak için sistem kararlılığı adına otomatik olarak belirli miktarda RAM ayırır. Bu nedenle tüm RAM kapasitesini maksimum limit olarak konteynere atayamazsınız.

    • No Limit Option: Tüm RAM kaynaklarını konteynere tahsis etmek istiyorsanız, sağ üst köşedeki No Limit seçeneğini işaretleyin. Bu, Host Reserved kısıtlamasını kaldırır ve tüm RAM'i konteyner için kullanılabilir hale getirir.

    ⚠️ Uyarı: No Limit seçeneğini kullanmak, tüm sistemi konteynere tahsis eder; bu, cihazınızın performansını ve kararlılığını olumsuz etkileyebilir. Bu seçeneği dikkatli kullanın.

    💡 Öneri: En iyi performans ve sistem kararlılığı için, kaynak tahsisi sırasında Cordatus tarafından otomatik olarak ayarlanan Host Reserved değerlerini korumanız önerilir.

İşlem Modu (Processing Mode)​

Bu bölüm, NVIDIA Dynamo'nun iş yüklerini GPU'lar arasında nasıl dağıttığını tanımlar.

  • Aggregated Mode: Hem prefill hem de decode işlemleri aynı GPU üzerinde çalıştırılır. Küçük ve orta ölçekli dağıtımlar için uygundur.

  • Disaggregated Mode: Prefill ve decode işlemleri farklı GPU'larda çalışır ve büyük ölçekli modeller için performansı optimize eder.

not

İşlem modu seçimi, aşağıda açıklandığı gibi GPU ataması ve worker oluşturmayı doğrudan etkiler.

Router Yapılandırması​

Router, gelen isteklerin worker'lar arasında nasıl dağıtılacağını tanımlar.

  • KV-Aware (Smart) Router: Hangi worker'ın belirli KV Cache bloklarını tuttuğunu takip eder ve istekleri en uygun worker'a yönlendirerek yeniden hesaplamayı ve gecikmeyi azaltır.

  • Round Robin Router: Dengeli iş yükü dağılımı için istekleri tüm worker'lara sırayla dağıtır. KV farkındalığı kullanmaz.

  • Random Router: İstekleri rastgele seçilen worker'lara yönlendirir. Basittir ancak büyük ölçekli iş yükleri için daha az verimlidir.

Connector Yapılandırması​

Connector, dağıtık bir sistemde worker'lar veya node'lar arasında verinin nasıl değiştirileceğini tanımlar. KV blokları veya ara verilerin aktarılması gerektiğinde devreye girer.

  • KVBM Connector: Runtime çıktıları (örn. TRT-LLM, vLLM) ile KV Block Manager arasında bir çeviri katmanı görevi görür. KV blok belleğini RAM ve Disk arasında yönetir.

  • NIXL Connector: Büyük ölçekli kurulumlarda optimize edilmiş veri aktarımları için worker'lar arasında düşük gecikmeli bellek erişimi (RDMA benzeri) sağlar.

  • LM Cache Connector: Metin veya önceden ayarlanmış KV blokları için yeniden kullanılabilir bir cache katmanı sunarak gereksiz hesaplamayı önler ve performansı artırır.

Bellek Tahsisi:

  • LM Cache Connector için, LM cache'e ayrılacak RAM miktarını belirtin.
  • KVBM Connector için, KV blok yönetimi için ayrılacak RAM ve Disk alanını tanımlayın.

4.5 GPU Ataması ve Worker Oluşturma​

Bu bölüm, seçilen işlem moduna bağlı olarak worker oluşturmanıza ve bunlara GPU atamanıza olanak tanır.

  • Soldaki Available GPUs listesi, sisteminizde henüz herhangi bir worker'a atanmamış tüm GPU'ları gösterir.

Toplu Mod​

  • Yalnızca Decode Workers oluşturulabilir.
  • Her worker'a en az bir GPU atanmalıdır.
  • İhtiyacınız kadar worker oluşturabilirsiniz.

Ayrık Mod​

  • Hem Prefill Workers hem de Decode Workers oluşturabilirsiniz.
  • Her worker'a en az bir GPU atanmalıdır.
  • Worker sayısı iş yükünüze uygun şekilde tamamen özelleştirilebilir.

4.6 Yapılandırma Ayarları​

Modelinizi seçtikten sonra Cordatus, Dynamo'nun düzgün çalışması için gereken varsayılan yapılandırmayı otomatik olarak yükler.

Docker Seçenekleri​

  • Standart docker run parametrelerini yapılandırın.
  • --env, --volume veya --network gibi argümanlar eklemek için soldaki Choose Options menüsünü kullanın.
  • Port Mapping: Cordatus, manuel olarak değiştirebileceğiniz kullanılabilir bir port otomatik olarak atar. Port zaten kullanımdaysa Port is Allocated etiketi görünecektir.
  • Volume Mapping: Cordatus, diskleri gezmek, dizinleri seçmek ve volume bağlantıları için yeni klasörler oluşturmak üzere görsel bir arayüz sunar.

Ortam Değişkenleri​

  • Dynamo için tanımlanan varsayılan ortam değişkenlerini gösterir.
  • Add your own Environment Variables özelliğini kullanarak yeni değişkenler ekleyin.
  • Bir değişken Token ise, Cordatus hesabınızdan mevcut bir token seçin.

    (Cordatus'a token eklemek için ilgili bölüme bakın.)

Dynamo Argümanları​

  • Dynamo örneğinize özgü engine düzeyi argümanları tanımlayın.
  • Seçilen Processing Mode'a bağlı olarak, Prefill ve Decode worker'ların nasıl çalışacağını yapılandırın — örn. batch size, eşzamanlılık sınırları veya cache stratejisi.

5. Uygulamayı Başlatma​

GPU atamalarını, worker'ları, Docker Options'ı, Environment Variables'ı ve Dynamo Arguments'ı yapılandırdıktan sonra, Start Environment düğmesi etkinleşecektir.

  • Cordatus, konteyner oluşturmayı yetkilendirmek için Sudo Password'ünüzü isteyecektir.
  • Seçilen Docker imajı cihazınızda mevcut değilse, Cordatus indirilip indirilmeyeceğini onaylamanızı isteyecektir.
  • Zaten mevcutsa, Cordatus konteyneri tanımladığınız yapılandırmayı kullanarak başlatacaktır.

Konteyner durumlarını şu bölümlerde izleyebilirsiniz:

  • Applications > Containers veya
  • Ana kenar çubuğundaki Containers bölümü.

Cordatus ayrıca, Dynamo'nun çalışması için gereken tüm destekleyici uygulamaları otomatik olarak yapılandırarak en uygun runtime kurulumunu sağlayacaktır.