Ga naar hoofdinhoud

NVIDIA VSS (Video Search & Summarization) Creation Guide

Deze handleiding legt uit hoe u NVIDIA VSS (Video Search & Summarization) aanmaakt en configureert via het Cordatus Platform.
NVIDIA VSS is een geavanceerde AI-oplossing die semantisch zoeken, gebeurtenisdetectie en videosamenvatting mogelijk maakt over videostreams of opgenomen video-inhoud.

VSS analyseert videodata om objecten, acties en contextuele informatie te begrijpen, waardoor gebruikers efficiënt kunnen zoeken in en grootschalige videodatasets kunnen doornemen.
Een van de belangrijkste functies binnen NVIDIA VSS is Event Reviewer, waarmee gebruikers specifieke gebeurtenissen in videomateriaal kunnen detecteren, classificeren en beoordelen.

Meer details → Application Hub Overview | Application Hub Quickstart | Standard Application Launch Guide | Container Management Guide | User Models Guide

Over NVIDIA VSS​

NVIDIA VSS (Video Search & Summarization) is een krachtig, op AI gebaseerd platform, ontworpen voor intelligente video-analyse en contentbeheer.

Belangrijkste functies:

  • Semantisch zoeken: doorzoek video-inhoud met natuurlijke taal
  • Gebeurtenisdetectie: automatisch specifieke objecten, acties of gedrag herkennen
  • Videosamenvatting: beknopte samenvattingen genereren van lange video-inhoud
  • Event Reviewer: kritieke momenten achteraf beoordelen met Computer Vision (CV)-modellen

Het Cordatus Platform vereenvoudigt de implementatie van NVIDIA VSS door een intuïtieve interface te bieden voor het configureren van alle benodigde componenten, waaronder VLM, LLM, Embedding en Rerank-modellen.

Stappen om NVIDIA VSS te starten​

  1. Klik in het linkermenu op Containers.
  2. Selecteer Applications in het dropdownsubmenu.
  3. Kies NVIDIA VSS uit de lijst met applicaties en ga naar de detailpagina.

Tot en met de sectie Advanced Settings is de workflow identiek aan andere applicatie-aanmaakprocessen in Cordatus.

Apparaat- en versieselectie​

  1. Klik op Start Application.
  2. Selecteer in het venster dat verschijnt het apparaat waarop u NVIDIA VSS wilt uitvoeren en verbind ermee.
  3. Ga naar de stap Version, waar de beschikbare Docker-image-versies worden weergegeven.
    • Als de image al op uw apparaat is geïnstalleerd, verschijnt een gedownload-pictogram.
    • Zo niet, dan wordt een nog-te-downloaden-pictogram weergegeven.

Geavanceerde instellingen​

De laatste stap brengt u naar de pagina Advanced Settings, waar u alle parameters kunt configureren voor het starten van uw NVIDIA VSS-implementatie.
De implementatie van NVIDIA VSS bestaat uit 5 belangrijke configuratiestappen.

Details van de geavanceerde instellingen​

VSS-instellingen​

In deze stap configureert u de parameters die nodig zijn om het docker run-commando te genereren voor de container die wordt aangemaakt op basis van de NVIDIA VSS-image.

U kunt kiezen tussen:

  • alleen NVIDIA VSS
  • NVIDIA VSS met Event Reviewer ingeschakeld

Event Reviewer-configuratie​

Als Event Reviewer is ingeschakeld, moet u het volgende opgeven:

  • MODEL_ROOT_DIR: het mappad voor het CV-model
  • GDINO_MODEL_PATH: het pad naar het Grounding DINO-model

Als u het standaard CV-model gebruikt, stelt u beide waarden in op none.

4.2 VLM-instellingen (Vision Language Model)​

U kunt een van de volgende opties kiezen:

  • Een nieuwe VLM-applicatie aanmaken:
    Implementeer een nieuwe Vision Language Model-container naast VSS.

    Bij het aanmaken van een nieuwe applicatie kunt u kiezen uit drie modelbronnen:

    1. Cordatus Models: vooraf getestte en geregistreerde modellen binnen het Cordatus-systeem

    2. User Models: gebruik modellen die u eerder hebt gedefinieerd in uw Cordatus-account

      💡 Opmerking: Om een model over te zetten van apparaat X naar apparaat Y, voegt u het eerst toe aan User Models.
      Meer informatie: User Models and Model Transfer Guide

      Cordatus maakt automatische volumeconfiguratie en modeloverdracht mogelijk tussen apparaten op hetzelfde netwerk.
      Configureer modelpaden via Metrics > Model Info voor Huggingface, Ollama en NVIDIA NIM.

  • Een bestaande VLM-applicatie toewijzen:
    Als u eerder via Cordatus een VLM-applicatie hebt aangemaakt op:

    • hetzelfde apparaat, of
    • een ander apparaat dat in uw Cordatus-account is gedefinieerd, op hetzelfde lokale netwerk

    Dan kunt u de bestaande applicatie direct selecteren via deze optie.
    Kies eenvoudig de applicatie die u wilt gebruiken en ga verder naar de volgende stap.

  • Remote VLM-applicatie:
    Deze optie is bedoeld voor gebruikers die een externe (remote) VLM-applicatie willen gebruiken.

    In deze stap:

    • Voer de URL van de remote VLM-applicatie in
    • Selecteer na het invoeren van de URL het model dat u wilt gebruiken in het volgende invoerveld
    • Als de remote VLM-applicatie een Token vereist voor authenticatie:
      • Kunt u kiezen uit tokens die al in uw Cordatus-account zijn gedefinieerd
      • Als het token nog niet is gedefinieerd, moet u dit eerst toevoegen aan uw Cordatus-account

4.3 LLM-instellingen​

Deze sectie volgt dezelfde configuratieworkflow als VLM Settings, maar is van toepassing op het Large Language Model (LLM)-component.

U kunt:

  • Een nieuwe LLM-applicatie aanmaken
  • Een bestaande LLM-applicatie toewijzen
  • Een remote LLM-applicatie gebruiken

4.4 Embed-instellingen​

Deze sectie volgt dezelfde configuratieworkflow als VLM Settings, maar is van toepassing op het Embedding Model-component.

U kunt:

  • Een nieuwe Embedding Model-applicatie aanmaken
  • Een bestaande Embedding Model-applicatie toewijzen
  • Een remote Embedding Model-applicatie gebruiken

4.5 Rerank-instellingen​

Deze sectie volgt dezelfde configuratieworkflow als VLM Settings, maar is van toepassing op het Rerank Model-component.

U kunt:

  • Een nieuwe Rerank Model-applicatie aanmaken
  • Een bestaande Rerank Model-applicatie toewijzen
  • Een remote Rerank Model-applicatie gebruiken

5. De applicatie starten​

Zodra u alle vijf componenten hebt geconfigureerd (VSS, VLM, LLM, Embed en Rerank),
wordt de knop Start Environment actief.

  • Cordatus vraagt uw sudo-wachtwoord om het aanmaken van de container te autoriseren.
  • Als de geselecteerde Docker-image niet op uw apparaat aanwezig is, vraagt Cordatus of deze gedownload moet worden.
  • Als de image al beschikbaar is, start Cordatus automatisch alle containers met uw gedefinieerde configuratie.

Cordatus maakt automatisch alle vereiste containers aan, stelt netwerkverbindingen tussen componenten tot stand en configureert de volledige NVIDIA VSS-pipeline.

U kunt de containerstatussen volgen onder:

  • Applications > Containers, of
  • De sectie Containers in de hoofdzijbalk.