NVIDIA AI Dynamo
NVIDIA AI Dynamo, büyük dil modelleri için dağıtık bir çalışma zamanıdır: ön dolgu (istemi okuma) ve kod çözme (yanıtı yazma) ayrı GPU'lara ve işçilere bölünebilir; bir yönlendirici hangi isteğe hangi işçinin bakacağına karar verir.
Cordatus'ta, ek kararları için kurulmuş bir rayla birlikte diğer uygulamalarla aynı başlatma sihirbazını kullanır.
Başlatma
-
ve 2. adımlar diğer uygulamalarla aynıdır — bkz. Başlatma Rehberi:
-
Cihaz Seç
-
Sürüm Seç
-
Gelişmiş Yapılandırma, burada ray Dynamo'ya özgüdür.
Ray
| Bölüm | İçeriği |
|---|---|
| Model | Sunulacak model; model merkezinden, Kullanıcı Modelleri'den ya da Özel bir ad/URL'den. |
| Çalışma zamanı | Toplu mu ayrıştırılmış mı ve yönlendirici. |
| GPU hattı | Her işçinin hangi GPU'ları alacağı. |
| Erişim | Sohbet arayüzü. |
| Geçersiz Kılmalar | Konteyner seçenekleri, ortam değişkenleri, not defteri. |
| İşçi argümanları | İşçi sınıfı başına motor bayrakları. |
| İncele ve başlat | Frontend'in komutu ve oluşturulacak her konteyner. |
Rayın altındaki Başlatmaya hazır kartı hâlâ eksik olanı adıyla söyler — çoğunlukla "bir işçinin hâlâ GPU'ya ihtiyacı var".
Model
Diğer yerlerdeki gibi üç kaynak: Model merkezi (Hugging Face, Ollama ya da NGC),
Kullanıcı Modelleri (bu cihazda hâlihazırda duran) ve Özel (yapıştırdığınız bir model adı ya da URL,
örneğin nemotron-mini:4b).
Çalışma zamanı
İşlem modu
| Mod | Davranış |
|---|---|
| Toplu | Tek bir işçi hem ön dolguyu hem kod çözmeyi yapar. Daha az iletişim yükü, çalıştırması en basit. |
| Ayrıştırılmış | Ön dolgu ve kod çözme ayrı GPU'larda çalışır — daha esnek, aralarında bir KV önbellek aktarımı pahasına. |
Yönlendirici
Bir isteği hangi işçinin alacağı:
| Yönlendirici | Davranış |
|---|---|
| kv | KV skoruna göre yönlendirir — mümkün olduğunda önbelleğe alınmış önekleri yeniden kullanır. Varsayılan. |
| round-robin | Sıralı ve dengeli. |
| random | Rastgele bir işçi. |
KV konnektörü
KV önbelleğinin nasıl taşındığı ya da devredildiği. Seçenekler moda göre değişir:
- Toplu —
none,lmcache,kvbm - Ön dolgu işçileri (ayrıştırılmış) —
lmcache,kvbm,nixl,none - Kod çözme işçileri (ayrıştırılmış) —
nixl
lmcache ve kvbm, CPU RAM'ine ya da diske isteğe bağlı devretme ekler; bunu yaptıkları yerde bölme
GB RAM, GB CPU önbelleği ve GB disk önbelleği olarak önbellek boyutlarını açar.
GPU hattı
Açılır liste yığını yerine sürükle-bırak bir tahta.
- Bir yanda Kullanılabilir GPU'lar, her biri kullanım oranı ve boş belleğiyle.
- Diğer yanda Ön dolgu ve Kod çözme işçi kolonları (toplu modda tek bir Worker'lar kolonu).
- Atamak için bir GPU'yu işçinin üzerine sürükleyin; Bu GPU atamasını kaldır onu geri koyar.
- Ön dolgu işçisi ekle / Kod çözme işçisi ekle yeni işçi oluşturur; Bu işçiyi kaldır birini siler.
Bir işçinin GPU'su yokken bölme tamamlanmış sayılmaz ("Henüz GPU yok — Kullanılabilir GPU'lardan bir tane atayın") ve her şey tahsis edildiğinde bunu söyler ("Her GPU bir işçiye atanmış."). En az bir işçi gereklidir.
Her işçinin alt başlığı tensor paralellik boyutunu TP=n olarak gösterir.
Erişim
Tek bir anahtar: Sohbet arayüzü — Open WebUI, Dynamo frontend'inin yanında, sizin için oluşturulmuş bir yönetici hesabıyla başlatılır.
Kapalıyken model, Dynamo frontend'inin kendi portundan erişilebilir olur.
Geçersiz Kılmalar
Diğer uygulamalarla aynı dört sekme — Konteyner, Ortam, Motor bayrakları ve Not defteri — uygulamanın sabitlediği değerlerde aynı kilit işaretleriyle ve üçünü birden dolduran, donanımınıza sığdırmak için neyi ayarladığını bildiren aynı AI ile öner aksiyonuyla.
İşçi argümanları
Motor bayrakları, hangi geçişe uygulandıklarına göre ayrılmış hâlde:
- her işçi için bayraklar (toplu), ya da
- istemi okuyan geçiş için bayraklar (ön dolgu) ve yanıtı yazan geçiş için bayraklar (kod çözme).
İmaj hiç bayrak yayımlamıyorsa bölme boş bir editör göstermek yerine bunu söyler.
İncele ve başlat
Dynamo birkaç konteyner oluşturur, bu yüzden inceleme bölmesi hangi komutu gösterdiğini belirtir: frontend'in komutu; altında Oluşturulacak konteynerler başlığıyla diğer konteynerler listelenir. Engelleyiciler önce listelenir ve her biri onu düzelten bölmeye götürür.
Başlattıktan sonra
Her Dynamo konteyneri Konteynerler sayfasında tek bir konteyner grubu olarak görünür. Her işçinin loglarına, parametrelerine ve portlarına tek tek ulaşmak için grubu açın.
Çağıracağınız konteyner frontend'dir. Portlar sekmesi size yerel adresi verir ve genel URL üretmenizi sağlar.