Sparkrun Cluster'ları
Bir Sparkrun cluster'ı, Cordatus'un çok düğümlü bir çıkarım iş yükünü yerleştirebileceği bir ya da daha fazla NVIDIA DGX Spark cihazıdır. LLM Başlatıcı → Sparkrun Cluster'ları, bunları tanımladığınız, ön kontrolleri çalıştırdığınız ve her birinin şu anda ne taşıdığını gördüğünüz yerdir.
Cluster listesi
| Kolon | Anlamı |
|---|---|
| Ad | Cluster adı, altında açıklaması. |
| Düğümler | Üye başına bir rozet. head rozeti node_0'dır — API'yi sunar ve cluster tanımını tutar; geri kalanlar worker düğümlerdir ve sıraları düğüm sırasıdır. |
| Hazırlık | tek düğüm, ya da henüz yapılandırılmamışsa beklemede durumuyla SSH / CX7. |
| Head durumu | Head cihazına erişilip erişilemediği. |
| Workload'lar | {n} canlı / {n} toplam. Genişletmek için tıklayın. |
| Oluşturuldu | Cluster'ın ne zaman tanımlandığı. |
Bir satırı genişletmek Bu cluster üzerindeki workload'lar'ı listeler: tarif adı, TP=, durum,
model, endpoint, sunum düğümü ve başlatma zamanı. Aç, sizi o workload'ın parametrelerine,
Konteynerler sayfasına götürür.
(varsayılan) olarak işaretlenmiş bir endpoint, portun motor varsayılanına düştüğü ve cihaz tarafından hiç bildirilmediği anlamına gelir.
Satır aksiyonları:
- Ön Kontrol — SSH mesh, CX7 ve çalışma zamanı kontrollerini yeniden çalıştırır.
- Düzenle — yeniden adlandırır ya da açıklamasını değiştirir. Üyelik burada bilinçli olarak düzenlenemez: üye sırası aynı zamanda düğüm sıralamasıdır, bu yüzden değiştirmek head'in seçildiği ve ön kontrolün yeniden çalıştırıldığı sihirbaza aittir.
- Sil — cluster'ı hem Cordatus'tan hem de head cihazındaki sparkrun'dan kaldırır.
Cordatus'ta yeniden adlandırmak sparkrun'ın kendi cluster'ını yeniden adlandırmaz — sparkrun onu eski adıyla tutmaya devam eder.
Cluster oluşturma
Yeni Küme sihirbazı açar. Üç adımı vardır; bu sayfadan başlatıldığında iki adımdan sonra durur, çünkü bir tarif başlatılmıyordur.
Adım 1 — Küme
DGX Spark cihazlarınız listelenir. Bunları iki yuvaya sürükleyin:
- Head düğümü — tam olarak bir tane. API'yi sunar ve cluster tanımını tutar.
- Worker'lar — istediğiniz kadar; sıraları düğüm sırasıdır.
Tek başına bir head, geçerli bir tek düğümlü cluster'dır.
Bu adımda ayrıca: Küme Adı (head düğümünde yazılan YAML dosyasını ve workload satırını adlandırır) ve isteğe bağlı bir Açıklama.
Adımın geçmenize izin vermeyeceği durumlar:
- "En az bir cihazı Head yuvasına sürükleyin."
- "Seçili {n} cihaz çevrimdışı. Devam etmeden önce bağlanmaları gerekir."
Tek düğümlü bir cluster'da kurulacak SSH mesh ve yapılandırılacak CX7 bağlantısı yoktur. Yalnızca çalışma zamanı kontrolü geçerlidir ve 3. adımda yalnızca tek düğümlü tarifler sunulur.
Adım 2 — Ön Kontrol
Her biri kendi kartında olan üç kontrol:
| Kontrol | Nedir |
|---|---|
| SSH mesh | Her düğüm arasında şifresiz SSH. Cordatus önce her düğümün SSH hesabını okur, sonra mesh'i yapılandırır. Şifreler yalnızca bu kurulum için kullanılır ve hiçbir zaman saklanmaz. |
| CX7 ağı | Tensor paralelliği için kullanılan yüksek hızlı bağlantı. Çok düğümlü tarifler için zorunludur. |
| sparkrun çalışma zamanı | Head düğümündeki sparkrun CLI'ı ve konteyner imajları. Şimdi kur bunları kurar. |
Başarısız bir kontrolün ne anlama geldiği sayfada açıkça yazar:
- SSH kapalı → başlatma tamamen engellenir ve sorunlu çift SSH kartında adıyla belirtilir.
- CX7 kapalı → bu bağlantı kapalıyken çok düğümlü tarifler kullanılamaz. Tek düğümlü tarifler normal şekilde başlar.
Zaten geçmiş kontroller geçmiş kalır — hiçbir şey gereksiz yere tekrarlanmaz. Kart başına Yeniden kontrol et ve Yeniden yapılandır seçenekleri vardır.
Düğümler ortak bir giriş hesabı paylaşmıyorsa Cordatus tahmin yürütmek yerine her ana makineyi sparkrun'a kendi hesabıyla geçirir.
Adım 3 — Tarif ve düğümler
Yalnızca başlatma yaparken vardır, yalnızca cluster tanımlarken değil. Aşağıya bakın.
Bir workload başlatma
Bir motor uygulamasının Sparkrun'ı Başlat düğmesinden başlayın (bkz. Başlatma Rehberi). Sihirbaz o zaman üçüncü adımını ekler.
- Ne çalıştırılacağını seçin — head düğümünden okunan tarif kataloğu; model, çalışma zamanı ya da ada göre filtrelenebilir. Yalnızca sığanlar varsayılan olarak açıktır, böylece bu cluster'ın kaldıramayacağı tarifler size sunulmaz. Yine de tümünü göster bunu geçersiz kılar.
- Kataloğu güncelle head düğümündeki tarif registry'lerini yeniden çeker.
- YAML Yapıştır elinizde hazır bir sparkrun tarifi varsa onu alır. Head düğümüne bir şey
yazılmadan önce
recipe_version 2'ye göre doğrulanır. - Bu çalıştırma için düğümler — bu workload'ın cluster'ın hangi düğümlerini işgal edeceği. Cluster'dan daha az düğüm gerektiren bir tarif bunu söyler: "Bu cluster'ın {n} düğümü bu workload için boş kalacak." Kaç düğüm gerektirdiğini bildirmeyen bir tarifte seçim size bırakılır.
- Başlatma seçenekleri — bir Hugging Face token'ı (kasanızdan ya da yapıştırılmış, veya Token yok — anonim çek) ve head düğümündeki YAML dosyasını ve workload satırını adlandıran bir Tarif adı.
Sparkrun'da Başlat işlemi başlatır. Sihirbaz ardından Tam log'lu canlı ilerlemeyi, API'nin yanıt vereceği endpoint'i ve ayağa kalktığında Endpoint'i kopyala / Open API düğmelerini gösterir.
Başarısız olursa workload satırı korunur; böylece buradan yeniden denemeniz fark etmeksizin Sparkrun İş Yükleri altında listelenmeye devam eder.
Workload yönetimi
Çalışan workload'lar hem Konteynerler sayfasının Sparkrun İş Yükleri sekmesinde hem de bu sayfada kendi cluster'larının altında yaşar. Oradan başlatabilir, durdurabilir, bir başlatmayı iptal edebilir, silebilir (DELETE yazarak) ve Genel Bakış, Loglar (düğüm başına bir okuyucu, her satır geldiği düğümle etiketli), Portlar, Erişim Adresleri, Motor Argümanları, Ortam Değişkenleri (değerler maskeli) ve Tarif YAML'ı bölümleriyle detay panelini açabilirsiniz.
İzinler
Cluster okuma ve yazma ayrı izinlerdir. Yazma yetkisi olmadan Yeni Küme, Düzenle ve Sil aksiyonları gizlenir; okuma yetkisi olmadan sayfa boş bir liste göstermek yerine bunu bildirir.