NVIDIA VSS (Video Search & Summarization)
NVIDIA VSS tek bir konteyner değil, bir blueprint'tir: dört model servisini yöneten bir video alma motoru. Cordatus bunların hepsini tek bir dağıtım olarak başlatır ve her servisin yeni bir konteyner, hâlihazırda çalışan bir konteyner ya da uzak bir uç nokta olmasına izin verir.
LLM-Launcher/vss-launch.mp4 — Uygulamalar → NVIDIA VSS → cihaz ve sürüm → numaralı servis rayı, her
servisin kaynağının ayarlanması → İncele ve başlat → oluşan konteyner grubu.
Beş servis
| # | Servis | Ne yapar |
|---|---|---|
| 1 | VSS | Blueprint motorunun kendisi — videoyu alır, diğer dört servisi yönetir ve arayüzü sunar. |
| 2 | VLM | Video parçalarını altyazılayan görsel-dil modeli. Bir model ve bir GPU gerektirir. |
| 3 | LLM | Altyazıları özetler ve soruları yanıtlar. Burada uzak bir uç nokta da uygundur. |
| 4 | Embed | Altyazıları erişim için vektörlere dönüştürür. Küçük model, küçük GPU ayak izi. |
| 5 | Rerank | LLM yanıtlamadan önce getirilen pasajları yeniden sıralar. İsteğe bağlıdır ama soru yanıtlamayı iyileştirir. |
Başlatma
-
ve 2. adımlar diğer uygulamalarla aynıdır — bkz. Başlatma Rehberi:
-
Cihaz Seç
-
Sürüm Seç — burada seçtiğiniz sürüm blueprint motorunun imajını sabitler.
-
Gelişmiş Yapılandırma
Servis rayı
Üçüncü adımın rayı numaralıdır: servis başına bir kayıt, sonra Bitir başlığı altında İncele ve başlat. Sıra önemlidir ve hattın anlatılma biçiminin bir parçasıdır, bu yüzden her kayıt simge yerine numarasını taşır.
Her kayıt şunları gösterir:
- servisin şu anda neye çözümlendiği — yeni bir konteyner, var olan bir konteyner ya da bir URL;
- modunu belirten bir etiket;
- tamamlandığında bir onay, tamamlanmadığında bir uyarı.
Rayın altında hazırlık kartı her servisin ilk eksiğini adıyla söyler (örneğin "VLM · model eksik") ve bir şey beklemedeyken başlığı 2 servisi düzeltin hâline gelir.
Bir servisi yapılandırmak
Her servis bölmesi Bu servisin nereden geldiği ile başlar:
| Mod | Anlamı |
|---|---|
| Yeni oluştur | Seçili cihazda yeni bir konteyner. |
| Var olanı ata | Orada zaten çalışan bir konteyneri yeniden kullan. Yalnızca gerçekten bir model sunan konteynerler yerine geçebilir. |
| Uzak uç nokta | OpenAI uyumlu bir URL; Bağlantıyı test et ve isteğe bağlı bir Erişim Token'ı ile. |
Her servis için her mod mevcut değildir — VSS motorunun kendisi her zaman oluşturulur.
Bir servis Yeni oluştur olarak ayarlandığında altındaki bölme, o konteyner için olağan yapılandırma rayıdır: Model, İşlem, Geçersiz Kılmalar; tam olarak Başlatma Rehberi'nde anlatıldığı gibi. Motor imajı Sürüm Seç tarafından sabitlenir ve bu şekilde etiketlenir.
Cihazda bir rolü dolduracak hiçbir şey yoksa:
{device} üzerinde bu rolü sunan hiçbir şey yok. Yeni bir tane oluşturun ya da servisi uzak bir uç noktaya yönlendirin.
Etkinlik İnceleyici
VSS servisinin ek bir Etkinlik İnceleyici anahtarı vardır; bu, dağıtıma etkinlik inceleme bileşenini ekler.
Çözümlenen servisler
Rayın üstündeki Çözümlenen servisler, ekran tamamlandığında beşinin her birinin gerçekte ne olacağını gösterir — yeni konteynerler, cihazda zaten çalışan konteynerler ve uzak uç noktalar. Böylece tüm hat, siz onaylamadan önce bir bakışta okunabilir.
İncele ve başlat
VSS için inceleme bölmesi tek bir komut yerine çözümlenmiş servis haritasını gösterir; çünkü dağıtım tek değil, birkaç konteynerdir. Altında Oluşturulacak konteynerler, başlatmanın oluşturacağı her konteyneri imajı ve modeliyle listeler; Var olanı ata ya da Uzak uç nokta olarak ayarlanan servisler listelenmez, çünkü onlar için yeni bir şey oluşturulmaz.
Engelleyiciler önce görünür ve her biri ilgilenilmesi gereken servise götüren bir düğmedir.
Başlattıktan sonra
Beş servisin tamamı Konteynerler sayfasında tek bir konteyner grubu oluşturur. Her servisin loglarına, parametrelerine ve portlarına ulaşmak için grubu açın.
Arayüzü sunan konteyner VSS'tir — yerel adres için onun Portlar sekmesini kullanın ya da oradan bir genel URL üretin.