Ana içeriğe geç

MIG (GPU Bölümleme)

MIG (Multi-Instance GPU), tek bir fiziksel NVIDIA kartını donanım düzeyinde yalıtılmış, daha küçük GPU'lara böler. Her parça — bir dilim (instance) — kendi işlem gücüne, kendi belleğine ve kendi video motorlarına sahiptir ve ayrı bir kart gibi davranır: bir konteyner bir dilim alır ve o dilimde çalışan hiçbir şey diğerlerini rahatsız edemez.

Cordatus bunu Devices → cihazınız → Metrics üzerinden yönetir; oluşturulan dilimler ardından GPU seçilebilen her yerde görünür.

Video placeholder

Fleet-Management/mig-split-card.mp4 — GPU şeridinden MIG diyaloğunun açılması, kart listesinin okunması, bir kartın dört dilime bölünmesi ve dilimlerin şeritte belirmesi.

Kart neden bölünür​

96 GB'lık bir kartta tek bir 8B model çalıştırmak kartın büyük kısmını boşa harcar; ama aynı kartı iki konteyner arasında olağan yolla paylaştırmak, ikisinin bellek için yarışması ve birinin diğerini aç bırakması demektir. Bölme, o tek kartı örneğin dört adet 24 GB'lık GPU'ya çevirir:

  • Yalıtım — bir dilimdeki bellek taşması diğerlerine dokunmaz.
  • Yoğunluk — tek kartta dört küçük model, dört iş ya da dört kullanıcı.
  • Öngörülebilirlik — her dilim sabit bir işlem gücü ve bellek payı alır, artakalanı değil.

Bedeli şudur: bir dilim karttan küçüktür ve bir iş yükü aynı kartın iki dilimine yayılamaz. Daha çok ama daha küçük GPU istiyorsanız bölün; tek ve büyük bir GPU istiyorsanız kartı bütün bırakın.

Başlamadan önce​

GereksinimAyrıntı
Cihaz türünvidia-smi ile rapor veren NVIDIA kartlara sahip x86 cihazlar. Jetson cihazlarda MIG sunulmaz.
Kart desteğiBunu kartın adı değil sürücü belirler. Aynı makinedeki aynı model adını taşıyan iki kart farklı olabilir — biri MIG destekler, diğeri etmez. Cordatus cihaza sorar ve kart kart söyler.
BağlantıCihaz Online olmalıdır.
RootMIG modunu değiştirmek cihazda root yetkisi gerektirir; Cordatus sudo parolasını ister ve hiçbir şey yapmadan önce doğrular.
uyarı

MIG modundaki bir kart grafik üretmeyi bırakır. Masaüstü oturumu olan bir makinedeki tek GPU buysa masaüstü kararır. Seçtiğiniz kart bir ekran sürüyorsa onay ekranı sizi uyarır.

MIG diyaloğunu açma​

  1. Devices sayfasına gidin ve cihazın Metrics panelini açın.
  2. Sağdaki GPU şeridinin sonunda, kartların ardında kesik çerçeveli bir MIG kutucuğu vardır. Alt satırında ya Yapılandır yazar ya da bu cihazın kartlarından oyulmuş dilim sayısı.
  3. Kutucuğa tıklayın. Cordatus cihazdan GPU yeteneklerini okur — "GPU yetenekleri okunuyor..." — ve her kartı listeler.

Kutucuk yalnızca cihaz NVIDIA GPU bildirdiğinde görünür.

Kart listesini okuma​

Her kart bir satırdır: indeksi, adı ve durumu.

DurumAnlamı
Tek parça kartBölünmemiş ve bölünebilir. Altında bölme seçenekleri listelenir.
Tek parça kart · MIG kullanılamıyorSürücü bu kartın MIG yapamadığını söylüyor. Seçenek sunulmaz.
N dilime bölünmüş (+ MIG açık rozeti)Zaten bölünmüş. Tek eylem Tek karta geri birleştir.

Bir kartı bölme​

Bölünebilir bir kartın altında Cordatus, ham sürücü profil listesini değil, kartı kaç parçaya kesebileceğinizi listeler. Bir kart genellikle hepsi "24gb" yazan birkaç giriş sunar ve bunların ikisi dört yerine sessizce tek dilim üretir; bu yüzden Cordatus yalnızca gerçek bölmeleri tutar ve profil çeşidini sizin yerinize seçer (grafik API'lerini ve video motorlarını koruyanı).

Her seçenek bir dilimin ne aldığını gösterir:

  • N dilim · her biri X GB — başlık.
  • SM — işlem birimleri.
  • çözücü / kodlayıcı — video motorları. 0 çözücü önemlidir: çözücüsü olmayan bir dilimde DeepStream kamera akışını çözemez.
  • JPEG — sürücü bildirdiğinde JPEG motoru sayısı.
  • grafik — bu çeşit grafik API'lerini de açık tutar.
not

Tümleşik belleğe sahip cihazlarda MIG yalnızca işlem gücünü böler — bellek ortak kalır ve her dilim kendine ait bir boyut bildirmez. Diyalog bir GB değeri yazmak yerine bunu seçeneklerin üstünde söyler.

Bir seçenek seçtiğinizde Cordatus onay istemeden önce kartı denetler — "Bu kartı neyin kullandığı kontrol ediliyor...".

Onay ekranı​

Hiçbir şey olmadan önce tüm bedeli söyler:

SatırAnlamı
Bu konteynerler bu kartı kullanıyor ve durdurulacak: (adlar)Bu karta sabitlenmiş konteynerler, adlarıyla. Bir process kartı tutarken sürücü MIG modunu değiştirmeyi reddeder, bu yüzden durdurulurlar. Sonrasında yeniden başlatılmazlar — artık var olmayan bir karta sabitlenmişlerdi; bir dilime göre yeniden oluşturun.
Bu cihazdaki masaüstü oturumu bu kartı kullanıyor…Dilimler şu anda oluşturulamaz. Düzen kaydedilir ve bir sonraki açılışta, masaüstü başlamadan önce uygulanır.
Bu kart bir ekran sürüyor…Kart MIG moduna geçince bu kartta grafik durur.
Yeniden başlatma gerekmiyor. Cordatus bu düzeni hatırlar…Kart boştu, bölme hemen yapılır.

Kartı böl'e basın. Sudo parolası henüz saklanmadıysa Cordatus önce onu ister ve doğrular.

Düzen neden hatırlanıyor​

Sürücü her yeniden başlatmada hem MIG modunu hem dilimleri unutur — bölünmüş bir kart bütün olarak geri gelir. Yani bölme tek seferlik bir komut değildir: Cordatus istediğiniz düzeni cihazda saklar ve her açılışta, masaüstü başlamadan önce yeniden kurar. Masaüstü yüzünden engellenen bir bölmenin yine de gerçekleşebilmesinin sebebi de budur — yalnızca bir sonraki açılışta olur.

Sonuç mesajları​

SonuçAnlamı
GPU N, X dilime bölündü (profil).Bitti, şu anda etkin.
GPU N, X dilime ayarlandı ama masaüstü oturumu kartı kullanıyor…Kaydedildi, bir sonraki açılışta uygulanacak. Oraya varmak için cihazı yeniden başlatın.
Bölme "adım" adımında başarısız oldu.Sürücü bir adımı reddetti; kart olduğu gibi bırakıldı.
GPU N yeniden tek parça bir kart.Birleştirildi.
GPU N'in yeniden bütün olması ayarlandı ama masaüstü oturumu dilimlerden birini kullanıyor…Kaydedildi, kart bir sonraki açılışta bütün olacak.
Durdurulan konteynerler: …Mesajın sonuna eklenir, neyin durdurulduğunu söyler.

Yeniden başlatma teklifi​

İş bir sonraki açılışa kaldığında Cordatus cihazı yeniden başlatmayı teklif eder — ama cihazın geri gelip gelmeyeceğini söylemeden asla:

  • Cordatus açılıştan sonra otomatik başlıyor, bu yüzden cihaz kendiliğinden geri gelecek. — güvenli.
  • Bu cihaz kendiliğinden çevrimiçi olmayacak. — sebebiyle birlikte: Cordatus başlangıçta çalışacak şekilde ayarlı değil; ya da masaüstü oturumundan başlıyor ve bu makinede otomatik giriş yok, yani birinin makineye giriş yapması gerekiyor; ya da yalnızca kullanıcı giriş yaptıktan sonra çalışan bir kullanıcı servisinden başlıyor; ya da sistem servisi olarak kurulu ama etkin değil.

Ayrıca kaç çalışan konteynerin duracağını söyler. Cordatus geri geldiğinde yönettiklerini yeniden kurar.

uyarı

Cevap geri gelmeyecek ise önce başlangıç yolunu düzeltin (bkz. Device Actions) ya da makineye fiziksel olarak erişebildiğiniz yerde yeniden başlatın. Açılışta Cordatus'u başlatmayan bir cihazdan uzaktan dönüş yolu yoktur.

Tek karta geri birleştirme​

Aynı diyaloğu açın, bölünmüş kartı bulun ve Tek karta geri birleştir'e basın. Onay ekranı, dilimleri tutan konteynerleri listeler — aynı sebeple durdurulurlar — ve masaüstü oturumu dilimlerden birinin içine yerleşmişse sizi uyarır; o durumda kart bir sonraki açılışta bütün olur.

Birleştirme saklanan düzeni de siler, böylece kart o andan sonra bütün kalır.

Dilimler sonrasında nerede görünür​

Metrics GPU şeridi​

Dilimler kendi kutucukları olarak, indigo renkte, GPU 1 (MIG 0) biçiminde çizilir. Bölünmüş ana kart çizilmez — üzerinde hiçbir şey çalışamaz.

Bir dilim kutucuğundaki büyük sayı kullanım değil VRAM dolu oranıdır. MIG modundaki bir kartta sürücü ne kart ne de dilimler için kullanım değeri bildirir; bu yüzden Cordatus bellek doluluğunu gösterir — dilim seçerken sorduğunuz asıl soru budur — ve ölçülemeyen her yerde 0% yerine — yazar. Alt satır profil adını, çözücü/kodlayıcı sayılarını ve VRAM'i taşır.

Konteyner için GPU seçme​

GPU seçicide (LLM Başlatıcı uygulama başlatma, Compose servisleri, AI Platform işleri) tam kartlar ve dilimler birlikte listelenir ve ikisi karşılıklı olarak birbirini dışlar:

  • Ya N tam kart ya da tam olarak bir MIG dilimi — bir dilim seçmek tam kart seçimini temizler, tersi de geçerlidir: "Tam GPU'lar seçili. Bir MIG dilimi seçmek için onları temizleyin."
  • Tüm tam GPU'ları kullan seçeneği hiçbir zaman bir dilimi kapsamaz. Her kartın bölünmüş olduğu bir cihazda bu anahtar devre dışıdır — "Bu cihazdaki her kart MIG modunda — bunun yerine bir dilim seçin."
  • Dilimlerin kullanılamadığı ekranlarda bu sessizce gizlenmez, ızgaranın üstünde söylenir: "Bu cihazda MIG modunda N kart var. Bu ekranda kullanılamazlar."
  • AI Platform iş ekranlarında video çözücüsü veya kodlayıcısı olmayan dilimler gizlenir, çünkü onlarsız bir DeepStream boru hattı kurulamaz — "N MIG dilimi burada gizlendi: video çözücüsü veya kodlayıcısı yok."

Çok işçili (Dynamo) boru hatları​

Bir işçi tek dilim alabilir — bir motor işi aynı kartın dilimleri arasında bölemez ve bir işçi bir dilimle tam bir GPU'yu karıştıramaz. Boru hattı düzenleyicisi ikisini de engeller ve sebebini yazar. Dilimler arasında ölçeklemek için işçiye daha çok dilim değil, daha çok işçi ekleyin.

uyarı

Dynamo her işçiye GPU'larını CUDA_VISIBLE_DEVICES ile verir ve bazı motor sürümleri orada bir MIG UUID'sini kabul etmez. Bir dilim üzerindeki Dynamo işçisi başlamıyorsa o boru hattını tam kartlarda çalıştırın.

Bilinmesi gereken sınırlar​

  • Konteyner başına tek dilim. Aynı kartın dilimleri arasında NVLink ya da eş erişim yolu yoktur; bu yüzden iki dilim üzerinde tensor-parallel mümkün değildir — motor aynı PCI veri yolunda iki cihaz görüp reddeder.
  • Kullanım metriği yok. MIG modu o kart için nvidia-smi'nin GPU/bellek/kodlayıcı/çözücü kullanım okumalarını kaldırır. Cordatus bir sayı uydurmak yerine belleği gösterir.
  • Kartın adı MIG yapıp yapamayacağını söylemez. Bunu yalnızca sürücü söyler ve Cordatus diyalog her açıldığında kart kart sorar.
  • Bölme ya da birleştirme sonrası sizin yerinize hiçbir şey yeniden başlatılmaz. Durdurulan konteynerler artık o biçimde var olmayan bir donanıma sabitlenmişti.

Sorun giderme​

BelirtiSebep ve çözüm
GPU şeridinde MIG kutucuğu yokCihaz NVIDIA GPU bildirmiyor ya da bir Jetson.
"Bu cihaz için NVIDIA GPU bildirilmedi."nvidia-smi yok ya da cevap vermedi. Cihazdaki sürücüyü kontrol edin.
"Bu kart MIG yapamıyor…"Sürücü hayır diyor. Başka bir yerdeki aynı model adlı bir kart yine de destekliyor olabilir.
"Bir GPU'yu MIG moduna almak cihazda root yetkisi gerektirir."Sorulduğunda cihazın sudo parolasını girin; Cordatus hiçbir şey çalıştırmadan önce doğrular.
Bölme olmadı ve mesaj masaüstü oturumundan söz ediyorMasaüstü olan makinelerde beklenen durum. Cihazı yeniden başlatın — düzen açılışta, masaüstü başlamadan önce uygulanır.
Bölmeden sonra bir konteyner başlamıyorTam karta sabitlenmişti. Yeniden oluşturun ve GPU adımında bir dilim seçin.
Yeniden başlatmadan sonra kart bütün olarak geldiDüzen saklanmamış ya da cihazda düzeni yeniden kuracak kayıtlı sudo parolası yok. Diyalogdan tekrar bölün.