Ana içeriğe geç

NVIDIA VSS (Video Arama ve Özetleme) Oluşturma Kılavuzu

Bu rehber, Cordatus Platform üzerinden NVIDIA VSS (Video Search & Summarization)'ın nasıl oluşturulacağını ve yapılandırılacağını açıklar. NVIDIA VSS, video akışları veya kaydedilmiş video içerikleri üzerinde anlamsal arama, olay tespiti ve video özetleme sağlayan gelişmiş bir AI çözümüdür.

VSS, nesneleri, eylemleri ve bağlamsal bilgileri anlamak için video verilerini analiz ederek kullanıcıların büyük ölçekli video veri kümelerini verimli bir şekilde aramasına ve incelemesine olanak tanır. NVIDIA VSS'te yer alan temel özelliklerden biri, kullanıcıların video içeriğindeki belirli olayları tespit etmesine, sınıflandırmasına ve incelemesine olanak tanıyan Event Reviewer'dır.

Ayrıntılar için bakınız → Application Hub Overview | Application Hub Quickstart | Standard Application Launch Guide | Container Management Guide | User Models Guide

NVIDIA VSS Hakkında​

NVIDIA VSS (Video Search & Summarization), akıllı video analizi ve içerik yönetimi için tasarlanmış güçlü bir AI tabanlı platformdur.

Temel yetenekler şunları içerir:

  • Semantic Search: Doğal dil kullanarak video içeriğinde sorgu yapma
  • Event Detection: Belirli nesneleri, eylemleri veya davranışları otomatik olarak tanımlama
  • Video Summarization: Uzun video içeriklerinin kısa özetlerini oluşturma
  • Event Reviewer: Computer Vision (CV) modelleri kullanarak kritik anları geriye dönük olarak inceleme

Cordatus Platform, VLM, LLM, Embedding ve Rerank modelleri dahil olmak üzere gereken tüm bileşenleri yapılandırmak için sezgisel bir arayüz sunarak NVIDIA VSS dağıtımını basitleştirir.

NVIDIA VSS Başlatma Adımları​

  1. Sol taraftaki menüden Containers'a tıklayın.
  2. Açılan alt menüden Applications'ı seçin.
  3. Uygulama listesinden NVIDIA VSS'i seçin ve Detay sayfasına gidin.

Advanced Settings bölümüne kadar akış, Cordatus'taki diğer uygulama oluşturma süreçleriyle aynıdır.

Cihaz ve Sürüm Seçimi​

  1. Start Application'a tıklayın.
  2. Açılan modal pencerede, NVIDIA VSS'i çalıştırmak istediğiniz cihazı seçin ve ona bağlanın.
  3. Mevcut Docker imaj sürümlerinin gösterildiği Version adımına geçin.
    • İmaj cihazınızda zaten kuruluysa, indirilmiş simgesi görünür.
    • Değilse, indirilecek simgesi gösterilir.

Gelişmiş Ayarlar​

Son adım sizi, NVIDIA VSS dağıtımınızı başlatmak için tüm parametreleri yapılandırabileceğiniz Advanced Settings sayfasına götürür. NVIDIA VSS dağıtımı 5 ana yapılandırma adımından oluşur.

Gelişmiş Ayarlar Detayları​

VSS Ayarları​

Bu adımda, NVIDIA VSS imajından oluşturulacak konteyner için docker run komutunu üretmek üzere gereken parametreleri yapılandırırsınız.

Şunlar arasından seçim yapabilirsiniz:

  • Yalnızca NVIDIA VSS
  • Event Reviewer etkinleştirilmiş NVIDIA VSS

Event Reviewer Yapılandırması​

Event Reviewer etkinleştirilirse, şunları sağlamanız gerekir:

  • MODEL_ROOT_DIR: CV modeli için dizin yolu
  • GDINO_MODEL_PATH: Grounding DINO modelinin yolu

Varsayılan CV modelini kullanıyorsanız, her iki değeri de none olarak ayarlayın.

4.2 VLM Ayarları (Vision Language Model)​

Aşağıdaki seçeneklerden birini seçebilirsiniz:

  • Yeni Bir VLM Application Oluşturma: VSS ile birlikte yeni bir Vision Language Model konteyneri dağıtın.

    Yeni bir uygulama oluştururken, üç model kaynağından birini seçebilirsiniz:

    1. Cordatus Models: Cordatus sisteminde önceden test edilmiş ve kayıtlı modeller

    2. User Models: Cordatus hesabınızda daha önce tanımladığınız modelleri kullanın

      💡 Not: Bir modeli Device X'ten Device Y'ye aktarmak için önce User Models'e ekleyin. Daha fazla bilgi: User Models and Model Transfer Guide

      Cordatus, aynı yerel ağdaki cihazlar arasında otomatik volume yapılandırması ve model aktarımı sağlar. Huggingface, Ollama ve NVIDIA NIM için model yollarını Metrics > Model Info üzerinden yapılandırın.

  • Mevcut Bir VLM Application Atama: Daha önce Cordatus üzerinden şurada bir VLM application oluşturduysanız:

    • Aynı cihazda
    • Cordatus hesabınızda tanımlı, aynı yerel ağda bulunan farklı bir cihazda

    Bu seçeneği kullanarak mevcut uygulamayı doğrudan seçebilirsiniz. Kullanmak istediğiniz uygulamayı seçin ve bir sonraki adıma geçin.

  • Remote VLM Application: Bu seçenek, harici (uzak) bir VLM application kullanmak isteyen kullanıcılar içindir.

    Bu adımda:

    • Uzak VLM application'ın URL'sini girin
    • URL'yi girdikten sonra, bir sonraki giriş alanından kullanmak istediğiniz modeli seçin
    • Uzak VLM application kimlik doğrulama için bir Token gerektiriyorsa:
      • Cordatus hesabınızda zaten tanımlı token'lardan birini seçebilirsiniz
      • Token henüz tanımlanmamışsa, önce Cordatus hesabınıza eklemeniz gerekir

4.3 LLM Ayarları​

Bu bölüm, VLM Settings ile aynı yapılandırma akışını izler ancak Large Language Model (LLM) bileşenine uygulanır.

Şunları yapabilirsiniz:

  • Yeni bir LLM application oluşturma
  • Mevcut bir LLM application atama
  • Uzak (remote) bir LLM application kullanma

4.4 Embed Ayarları​

Bu bölüm, VLM Settings ile aynı yapılandırma akışını izler ancak Embedding Model bileşenine uygulanır.

Şunları yapabilirsiniz:

  • Yeni bir Embedding model application oluşturma
  • Mevcut bir Embedding model application atama
  • Uzak (remote) bir Embedding model application kullanma

4.5 Rerank Ayarları​

Bu bölüm, VLM Settings ile aynı yapılandırma akışını izler ancak Rerank Model bileşenine uygulanır.

Şunları yapabilirsiniz:

  • Yeni bir Rerank model application oluşturma
  • Mevcut bir Rerank model application atama
  • Uzak (remote) bir Rerank model application kullanma

5. Uygulamayı Başlatma​

Beş bileşenin tamamını (VSS, VLM, LLM, Embed ve Rerank) yapılandırdıktan sonra, Start Environment düğmesi etkinleşecektir.

  • Cordatus, konteyner oluşturmayı yetkilendirmek için Sudo Password'ünüzü isteyecektir.
  • Seçilen Docker imajı cihazınızda mevcut değilse, Cordatus indirilip indirilmeyeceğini onaylamanızı isteyecektir.
  • Zaten mevcutsa, Cordatus tanımladığınız yapılandırmayı kullanarak tüm konteynerleri otomatik olarak başlatacaktır.

Cordatus, gereken tüm konteynerleri otomatik olarak oluşturacak, bileşenler arasında ağ bağlantıları kuracak ve eksiksiz NVIDIA VSS pipeline'ını yapılandıracaktır.

Konteyner durumlarını şu bölümlerde izleyebilirsiniz:

  • Applications > Containers veya
  • Ana kenar çubuğundaki Containers bölümü.