Hızlı Başlangıç

10 dakika içinde Cordatus üzerinde AI applications dağıtmaya başlayın. Bu sayfa basit bir rehberdir. Tüm adımlar, ekran görüntüleri ve videolar için her bölümdeki bağlantıları takip edin.

Ön Koşullar

Uygun izinlere sahip bir Cordatus hesabı
Cordatus'a bağlı en az bir cihaz (durum: Online veya Connected)
GPU destekli cihaz (LLM applications için önerilir)
Cihazınızda kurulu ve çalışan Cordatus Client

ipucu

Henüz bağlı bir cihazınız yoksa önce Device Hub Quickstart'ı tamamlayın.

10 Dakikada Başlangıç

1. Mevcut Applications'a Göz Atın (1 dakika)

Sol menüden Containers > Applications'a gidin
Uygulama kataloğuna göz atın:
- vLLM (yüksek verimli LLM inference)
- TensorRT-LLM (optimize edilmiş NVIDIA inference)
- Ollama (basit yerel modeller)
- NVIDIA Dynamo (dağıtık çoklu GPU)
- NVIDIA VSS (video analizi)
Detay Sayfasını görüntülemek için herhangi bir uygulamaya tıklayın
Desteklenen platformları ve mevcut Docker imaj sürümlerini kontrol edin

Tam ayrıntılar için bakınız → Application Launch Guide

2. İlk Uygulamanızı Başlatın (3 dakika)

Örnek: Küçük Bir Modelle vLLM Dağıtımı

vLLM detay sayfasında Start Application'a tıklayın
Select Device: Bağlı cihazınızı seçin
Select Version: En son Docker imaj sürümünü seçin
- Yeşil onay işareti = zaten indirilmiş
- İndirme simgesi = indirilecek
Advanced Settings'e geçmek için Next'e tıklayın

Tam ayrıntılar için bakınız → Application Launch Guide - Bölüm 4

3. Temel Ayarları Yapılandırın (3 dakika)

Genel Ayarlar:
- Environment Name: Otomatik oluşturulan isim için boş bırakın (veya vllm-llama2-7b gibi özel bir isim girin)
- Select GPU: All GPU seçin veya belirli GPU'ları seçin
- Resource Limits: Varsayılan değerleri koruyun (veya CPU/RAM sınırlarını özelleştirin)
- Enable Open Web UI: Bu kutuyu işaretleyin (otomatik olarak sohbet arayüzü oluşturur)
Model Seçimi:
- Cordatus Models sekmesine geçin
- llama-2-7b arayın veya küçük bir model seçin (ilk dağıtım için 7B veya 13B önerilir)
- Seçmek için modele tıklayın
Diğer Ayarları Şimdilik Atlayın:
- Docker Options: Otomatik yapılandırılır
- Environment Variables: Varsayılanlarla önceden doldurulmuştur
- Engine Arguments: Seçilen model için optimize edilmiştir

Tam ayrıntılar için bakınız → Application Launch Guide - Bölüm 5

4. Konteyneri Başlatın (1 dakika)

Start Environment düğmesine tıklayın (sağ altta)
İstendiğinde sudo şifrenizi girin
Docker imajının indirilmesi gerekiyorsa indirmeyi onaylayın
Dağıtımın tamamlanmasını bekleyin (imaj boyutuna bağlı olarak 1-5 dakika)

Arka planda neler oluyor:

Cordatus cihazınıza bağlanır
Docker imajını indirir (gerekirse)
Konteyneri oluşturur ve başlatır
Ağ ve volume'ları yapılandırır
Open Web UI konteynerini başlatır (etkinleştirilmişse)

Tam ayrıntılar için bakınız → Application Launch Guide - Bölüm 6

5. Dağıtımı Doğrulayın (2 dakika)

Sol menüden Containers > Containers'a gidin
Yeni oluşturulan konteyner grubunuzu bulun
Durumun Running olduğunu doğrulayın
See the Container Informations'a tıklayın (üç nokta menüsü)
Logs sekmesini kontrol edin - model yükleme mesajlarını görmelisiniz
Ports sekmesine gidin - Local URL'yi kopyalayın

Uygulamanıza Erişim:

API Endpoint: Local URL'yi tarayıcıda açın (API dokümantasyonunu gösterir)
Open Web UI: Etkinleştirildiyse, gruptaki ikinci konteyneri bulun ve URL'sini açın
curl ile test edin:
```
curl http://localhost:8000/v1/models
```

Tam ayrıntılar için bakınız → Container Management Guide - Bölüm 3.6

Beklenen Sonuç

Bu adımları tamamladıktan sonra şunlara sahip olmalısınız:

Çalışan Container
- Durum: Running (yeşil gösterge)
- Loglar başarılı model yüklemesini gösterir
- API endpoint Local URL üzerinden erişilebilir
Aktif Open Web UI (etkinleştirildiyse)
- Gruptaki ikinci konteyner Running gösterir
- Sohbet arayüzü tarayıcı üzerinden erişilebilir
- Mesaj gönderip AI yanıtları alabilirsiniz
Containers Listesinde Uygulama
- Containers > Containers altında görünür
- Konteyner grubu düzgün organize edilmiştir
- Tüm bileşenler sağlıklıdır

Sırada Ne Var?

VRAM Calculator'ı Keşfedin (5 dakika)

Daha büyük modelleri dağıtmadan önce VRAM gereksinimlerini hesaplayın:

Ana menüden VRAM Calculator'a gidin
Select Model: Daha büyük bir model seçin (örn. Llama-2-70B)
Select GPU: GPU modelinizi seçin
Review Results: VRAM'in yeterli olup olmadığını kontrol edin
Adjust Settings: Farklı quantization seviyelerini deneyin (INT8, INT4)

Şunları öğrenin:

Dağıtım öncesinde bellek gereksinimlerini hesaplama
Farklı quantization seçeneklerini karşılaştırma
En uygun batch size ve sequence length'i belirleme
Çoklu GPU dağıtımlarını planlama

Tam ayrıntılar için bakınız VRAM Calculator User Guide

Kendi Modellerinizi Ekleyin (10 dakika)

Cihazınıza zaten indirdiğiniz modelleri kullanın:

Model Yollarını Yapılandırın:
- Cihazınıza bağlanın
- Metrics > Model Info'ya gidin
- Huggingface, Ollama veya NVIDIA NIM için yolları tanımlayın
Modelleri Tarayın:
- LLM Models sayfasına gidin
- Explore Models on Your Device'a tıklayın
- Start Scanning'e tıklayın
- Cordatus'a eklenecek modelleri seçin
User Model'i Dağıtın:
- LLM Models > User Models sekmesine gidin
- Herhangi bir modelin yanındaki Deploy'a tıklayın
- Inference engine seçin
- Yapılandırın ve başlatın Tam ayrıntılar için bakınız User Models and Model Transfer Guide

Gelişmiş Uygulamalar Dağıtın (15-30 dakika)

Daha karmaşık dağıtımları deneyin:

NVIDIA AI Dynamo (Çoklu GPU Dağıtık Inference):

İşlem modunu yapılandırın (Aggregated/Disaggregated)
Router stratejisini ayarlayın (KV-Aware önerilir)
GPU atamalarıyla birden fazla worker oluşturun
Dağıtık inference pipeline'ını başlatın Tam ayrıntılar için bakınız NVIDIA AI Dynamo Creation Guide

NVIDIA VSS (Video Analizi):

Ana VSS konteynerini yapılandırın
VLM, LLM, Embed ve Rerank bileşenlerini ayarlayın
Yeni oluşturmayı veya mevcut bileşenleri kullanmayı seçin
Eksiksiz video analiz pipeline'ını dağıtın Tam ayrıntılar için bakınız NVIDIA VSS Creation Guide

Konteynerlerinizi Yönetin (5 dakika)

Konteyner yönetim işlemlerini öğrenin:

Konteynerleri Başlat/Durdur:
- Herhangi bir konteyner için Start/Stop düğmelerine tıklayın
- Toplu işlemler için birden fazla konteyner seçin
Container Bilgisini Görüntüleme:
- Gerçek zamanlı logları izleyin
- Yapılandırma parametrelerini gözden geçirin
- Port eşlemelerini kontrol edin
Genel URL'ler Oluşturma:
- Uygulamalarınızı dışarıdan erişilebilir hale getirin
- Erişimi ekip üyeleriyle paylaşın
Open Web UI Oluşturma:
- Mevcut LLM konteynerlerine sohbet arayüzü ekleyin
- Paylaşım için genel URL'ler oluşturun
Konteynerleri Çoğaltma:
- Mevcut yapılandırmaları kopyalayın
- Ayarları değiştirin ve yeniden dağıtın Tam ayrıntılar için bakınız Container Management Guide

Hızlı Sorun Giderme İpuçları

Konteyner Başlamıyor:

Cihaz durumunun Connected olduğunu kontrol edin
GPU'nun kullanılabilir ve kullanımda olmadığını doğrulayın
Hata mesajları için konteyner loglarını inceleyin
Docker imajı için yeterli disk alanı olduğundan emin olun

VRAM Yetersiz Hatası:

Gereksinimleri doğrulamak için VRAM Calculator kullanın
Daha düşük quantization deneyin (FP16 → INT8 → INT4)
Batch size veya sequence length'i azaltın
Daha fazla GPU ekleyin veya daha küçük model kullanın

Model Bulunamadı:

Custom Models için: Model isminin doğru olduğunu doğrulayın
User Models için: Model yollarının yapılandırıldığından emin olun
Modelin konteynerden erişilebilir olduğunu kontrol edin
Docker Options'daki volume eşlemelerini gözden geçirin

Open Web UI Çalışmıyor:

Konteynerin çalıştığını doğrulayın
Portun zaten kullanımda olmadığını kontrol edin
Open Web UI konteyner loglarını inceleyin
Konteynerler arasında ağ bağlantısı olduğundan emin olun

Hızlı Referans

Application Türleri

Tür	Kullanım Senaryosu	Karmaşıklık	Kurulum Süresi
Standard Apps	Temel konteynerler	Düşük	5 dk
LLM Engines	Model inference	Orta	5 dk
NVIDIA Dynamo	Çoklu GPU dağıtık	Yüksek	5 dk
NVIDIA VSS	Video analizi	Yüksek	10 dk

Önerilen GPU Belleği

Model Boyutu	Quantization	Minimum VRAM	Önerilen GPU
7B	INT4	4-6 GB	RTX 3090, RTX 4090
7B	INT8	8-10 GB	RTX 4090, A10
13B	INT4	8-10 GB	RTX 4090, A10
13B	INT8	14-16 GB	A10, A100 40GB
70B	INT4	40-50 GB	A100 80GB, 2x A100 40GB
70B	INT8	80-90 GB	A100 80GB, 2x A100 80GB

Önemli Kısayollar

Containers > Applications: Uygulama kataloğuna göz atın
Containers > Containers: Çalışan konteynerleri yönetin
LLM Models: Cordatus Models ve User Models'e erişin
VRAM Calculator: Bellek gereksinimlerini hesaplayın
Device Metrics: GPU/CPU/RAM kullanımını görüntüleyin

Yardım Alın

Ekran görüntüleri ve videolarla detaylı dokümantasyon için:

Ön Koşullar​

10 Dakikada Başlangıç​

Beklenen Sonuç​

Sırada Ne Var?​

VRAM Calculator'ı Keşfedin (5 dakika)​

Kendi Modellerinizi Ekleyin (10 dakika)​

Gelişmiş Uygulamalar Dağıtın (15-30 dakika)​

Konteynerlerinizi Yönetin (5 dakika)​

Hızlı Sorun Giderme İpuçları​

Hızlı Referans​

Application Türleri​

Önerilen GPU Belleği​

Önemli Kısayollar​

Yardım Alın​