NVIDIA Run:ai
Cordatus, NVIDIA Run:ai'yi kendi GPU sunucularınıza kurar. Kubernetes'i elle hazırlamanız gerekmez: Cordatus cihazı kontrol eder, Kubernetes'i (RKE2) kurar, Run:ai'yi yükler, Run:ai panelini public bir adreste açar ve diğer cihazların kümeye işçi düğüm olarak katılmasını sağlar. Küme ayağa kalktığında LLM Başlatıcı → Run:ai Kümeleri onu düğümleri, GPU kullanımı ve inference endpoint'leriyle birlikte listeler.
Başlamadan önce
| Gereksinim | Ayrıntı |
|---|---|
| GPU | Bir NVIDIA veri merkezi GPU'su (örneğin H100, H200, B200, B300, A100, L40S, L4). |
| İşlemci mimarisi | x86_64 veya aarch64. |
| Disk | Veri konumunda en az 100 GiB boş alan; 160 GiB veya daha fazlası önerilir. |
| Cihaz durumu | Cihaz Çevrimiçi ve onu yönetme yetkiniz var. |
| Sudo Parolası | Kurulum, kaldırma ve iptal işlemleri cihazda root yetkisi ister. Cordatus'ta kayıtlı bir sudo parolası yoksa sizden istenir; yalnızca o işlem için kullanılır. |
| İnternet erişimi | Cihaz, Run:ai indirme sunucularına 443 portundan erişebilmelidir. |
- Jetson, GeForce kartlar ve vGPU Run:ai çalıştıramaz. Bu cihazlar GPU'larını yine de Cordatus üzerinden iş yükleri arasında paylaştırabilir.
- DGX Spark ve 22 GB veya daha fazla belleğe sahip iş istasyonu kartları ancak bir uyarıyı kabul ettikten sonra kurulabilir: NVIDIA bunlarda Run:ai'yi desteklemez. DGX Spark'ta GPU kesirleri çalışmaz ve her iş yükü GPU'nun tamamını alır.
Run:ai penceresini açma
- Cihazlar'a gidin.
- Cihaz satırının sonundaki ... menüsünü açın.
- NVIDIA Run:ai'ye tıklayın.
Pencere "Bu cihazın Run:ai çalıştırıp çalıştıramayacağı kontrol ediliyor..." mesajıyla açılır ve ardından en üstte bir sonuç gösterir:
| Sonuç | Anlamı |
|---|---|
| Run:ai bu cihaza kurulabilir. | Tüm kontroller geçti. Cordatus önce Kubernetes'i (RKE2) kurar, ardından Run:ai'yi yükler. Kubernetes zaten çalışıyorsa yeniden kullanılır. |
| Aşağıdaki sorunlar giderilince bu sunucu Run:ai çalıştırabilir. | Donanım destekleniyor, ancak bazı kontroller başarısız oldu. Her başarısız kontrol neyin düzeltilmesi gerektiğini söyler. |
| Run:ai bu donanımı desteklemiyor. | Jetson, GeForce ve benzeri cihazlar. |
| Bu cihaz Run:ai çalıştıramaz. | Desteklenen bir NVIDIA GPU'su bulunamadı. |
Sağ tarafta GPU'lar, Kesirli GPU ve Kontroller panelleri ayrıntıları gösterir. Önce başarısız kontroller, ardından uyarılar listelenir. Cihazda bir şeyi düzelttikten sonra Tekrar kontrol et'e tıklayın.
Neler kontrol edilir
| Kontrol | Başarısız olduğu durum | Uyardığı durum |
|---|---|---|
| İşlemci mimarisi | x86_64 veya aarch64 değilse | |
| GPU modeli | Jetson, GeForce, TITAN; iş istasyonu kartları ve DGX Spark (kabul edilebilir) | Kart bilinen veri merkezi listesinde değilse |
| GPU sanallaştırma | vGPU (yalnızca passthrough desteklenir) | |
| İşletim sistemi | Ubuntu 22.04 / 24.04 / 26.04, RHEL / Rocky / Alma 8.8+ / 9 / 10 veya RHCOS değilse (DGX OS, Ubuntu sayılır) | |
| Kontrol grupları (cgroup) | cgroup v1 (kabul edilebilir; bu durumda iş yükleri yalnızca tam GPU alır) | |
| CPU çekirdekleri / Bellek | 20'den az çekirdek / 32 GiB'den az bellek | |
| Boş disk | 100 GiB'den az boş alan (kabul edilebilir) | 160 GiB'den az boş alan |
| Gerekli portlar | 80, 443, 2379, 2380, 2381, 6443, 9345, 10250 portlarından biri kullanımdaysa | |
| Docker ağları | Bir ağ 10.42.0.0/16 veya 10.43.0.0/16 ile çakışıyorsa | |
| firewalld | firewalld etkinse (RKE2 kapalı olmasını ister) | |
| NVIDIA Container Toolkit | Kurulu değilse | |
| İnternet erişimi | İndirme sunucularına erişilemiyorsa | |
| Kubernetes | k3s veya 1.35–1.37 aralığı dışında bir Kubernetes sürümü |
Kesirli GPU yalnızca bilgi amaçlıdır. Run:ai onsuz da çalışır; bir iş yüküne GPU'nun bir payını verebilmek için cihazda NVIDIA sürücüsü 615 veya üstü, CUDA 13.4 veya üstü, cgroup v2, açık kaynak NVIDIA çekirdek modülü bulunmalı ve MIG kapalı olmalıdır.
Run:ai'yi kurma
Kurulum kartını doldurun:
| Alan | Açıklama |
|---|---|
| Panel adresi | Run:ai panelinin public adresinin adı, örneğin my-runai. Panele Cordatus üzerinden her yerden erişirsiniz. 4–63 karakter; küçük harf, rakam veya tire. Ad siz yazarken kontrol edilir. |
| Küme adı | Run:ai kümesinin adı. Küçük harf, rakam ve tire. |
| Run:ai yönetici e-postası | Run:ai paneline giriş yaptığınız hesap. |
| Run:ai yönetici parolası | En az 12 karakter; büyük ve küçük harf, bir rakam ve ! @ # $ + - karakterlerinden biri. Güçlü bir parola için Üret'i kullanın. |
| Veri konumu | Kubernetes imajlarının, modellerin ve volume'ların tutulduğu yer. Yalnızca dahili diskler (ağ veya USB diskleri olmaz). Kurulumdan sonra değiştirilemez. |
| Model klasörü | Model ağırlıklarının (Hugging Face önbelleği) tutulduğu yer. Varsayılan olarak LLM Başlatıcı'nın kullandığı klasördür. Kaldırma işlemi onu asla silmez. |
| İşçi düğümler (isteğe bağlı) | Kurulum bittiğinde bu kümeye katılacak diğer cihazlar. Her biri kontrol edilir ve Katılabilir, Onayınızla katılabilir veya Katılamaz olarak gösterilir; her birinin kendi veri konumu ve model klasörü olur. |
Cordatus, Run:ai yönetici parolasını saklamaz. Başlamadan önce kaydedin; Run:ai paneline bu parolayla giriş yaparsınız.
Bir kontrol başarısız olduysa ancak kabul edilebiliyorsa (disk alanı, cgroup v1, DGX Spark veya iş istasyonu GPU'su), altındaki Yine de kur kutusunu işaretleyin. Ardından Run:ai'yi kur'a tıklayın.
Kurulum ilerlemesi
Kurulum 30 ila 60 dakika sürer. Pencereyi kapatabilirsiniz; kurulum cihazda devam eder. Adımlar canlı bir logla birlikte tek tek gösterilir:
- Cihaz hazırlanıyor
- Kubernetes (RKE2) kuruluyor
- Kubernetes'in oturması bekleniyor
- Depolama ayarlanıyor
- Sertifikalar oluşturuluyor
- Run:ai kurulum aracı indiriliyor
- Run:ai ön kontrolleri
- Run:ai kuruluyor
- Varsayılan proje oluşturuluyor
İşçi düğümler bundan sonra katılır (Cihaz hazırlanıyor → Kubernetes (RKE2) kuruluyor → Kümeye katılıyor).
Kurulum bitince bana haber ver, kurulum tamamlandığında, bir hatayla durduğunda veya iptal edildiğinde tek bir mesaj gönderir. E-posta adresinizi ya da Alarmlar → Bildirim Kanalları altında eklediğiniz herhangi bir kanalı (Slack, e-posta, webhook) seçebilirsiniz. Bir kanal seçmeden pencereyi kapatırsanız Cordatus size haber verip vermemesini sorar.
- Kurulumu iptal et (iki kez tıklayın) kurulumu durdurur ve kurduğu her şeyi kaldırır.
- Kurulum bir hatayla durursa başarısız adım gösterilir. Kuruluma devam et kaldığı yerden sürdürür; Kurulumu bırak o ana kadar kurulan her şeyi kaldırır.
Kurulum bittiğinde pencere, panel URL'si, yönetici e-postası, küme, proje ve veri konumuyla birlikte Run:ai kurulu. mesajını gösterir. URL'ye tıklayın ve seçtiğiniz parolayla giriş yapın.
Kümeyi yönetme
Baş cihazda NVIDIA Run:ai'yi yeniden açın (veya Run:ai Kümeleri sayfasında Yönet'e tıklayın):
- Küme düğümleri — her düğüm; rolü (baş / işçi), GPU sayısı ve durumuyla (Hazır, Katılıyor..., Başarısız, Ayrılıyor...). Daha fazla cihaz katmak için İşçi düğüm ekle → Ekle'yi, bir işçi düğümü çıkarmak için Kaldır'ı (iki kez tıklayın) kullanın. Düğümdeki iş yükleri diğer düğümlere taşınır, ardından Kubernetes o düğümden kaldırılır. Bir işçi düğümün kayıtlı bir sudo parolası olmalı ve baş düğüme 9345 ve 6443 portlarından erişebilmelidir.
- Inference endpoint'leri — Run:ai'de dağıttığınız inference iş yükleri. Public URL oluştur, bir endpoint'e Cordatus üzerinden public bir adres verir; Public URL'i kaldır bu adresi kapatır.
- Kaldır (iki kez tıklayın) Run:ai'yi ve Kubernetes'i baş düğümden ve tüm işçi düğümlerden kaldırır. Disk alanlarını da boşaltmak için Saklanan container imajlarını da sil'i işaretleyin. Model klasörleri asla silinmez.
Pencereyi bir işçi cihazda açtığınızda, cihazın hangi kümeye ait olduğunu gösterir ve Kümeden ayrıl seçeneğini sunar.
Birden fazla düğüme yayılan bir endpoint dağıtık olarak işaretlenir. Public URL üzerinden
erişilebilmesi için sunucusunun --root-path <prefix> ile başlatılması gerekir; pencere bu prefix'i
gösterir.
Run:ai Kümeleri sayfası
LLM Başlatıcı → Run:ai Kümeleri, Cordatus'un cihazlarınıza kurduğu her Run:ai kümesini listeler. Sayfa açıldığında çevrimiçi cihazlarınızı bir kez tarar. Cihazları tara taramayı yeniden çalıştırır; örneğin bu sayfa var olmadan önce kurulmuş bir küme için.
| Kolon | Anlamı |
|---|---|
| Küme | Küme adı, altında baş düğüm. |
| Düğümler | Baş düğüm ve her i şçi düğüm için birer rozet. |
| Durum | Çevrimiçi, Çevrimdışı veya Kaldırılıyor. |
| Run:ai paneli | Panele bağlantı. |
| Uç noktalar | Kaç inference endpoint'inin hazır olduğu. |
| İşlemler | Yönet ve Sil. |
Bir satırı genişletmek için oka tıklayın:
- Düğümler — Düğüm, Rol, Cihaz, IP, Kullanılan GPU (kullanılan / toplam) ve Durum; işçi düğümler için Kaldır ile birlikte.
- Inference endpoint'leri — Endpoint, Proje, Durum, Çalıştığı yer (düğüm ve GPU payı, örneğin 0.5 GPU (50%) · 23.6 GB), Adres ve kopyalama butonuyla birlikte Genel URL, ayrıca Public URL oluştur / Public URL'i kaldır.
Yönet, aynı NVIDIA Run:ai penceresini açar. Sil, bir onaydan sonra Run:ai'yi baş düğümden ve tüm işçi düğümlerden kaldırır; kümedeki tüm iş yükleri ve endpoint'ler silinir. Docker ve Cordatus container'larına dokunulmaz. Baş cihazda kayıtlı bir sudo parolası yoksa Cordatus sizden Run:ai penceresini aç'a tıklayıp kaldırma işlemini oradan yapmanızı ister.
Run:ai kümenize model dağıtmasını AI Asistanı'ndan da isteyebilirsiniz. Modelin düğümlere nasıl bölüneceğini planlar, planı gösterir ve siz onayladıktan sonra inference'ı başlatır.