Hızlı Başlangıç
Kendi donanımınızda yaklaşık 10 dakikada servis veren bir model elde edin. Bu sayfa kısa sürümdür; her bölüm tam rehbere bağlantı verir.
Ön koşullar
- Konteyner izinleri olan bir Cordatus hesabı
- Cordatus'a bağlı ve Çevrimiçi görünen en az bir cihaz
- O cihazda bir GPU (LLM uygulamaları için önerilir)
- Üzerinde kurulu ve çalışan Cordatus Client
Henüz cihazınız yok mu? Önce Device Hub hızlı başlangıcını yapın — LLM Başlatıcı'da hiçbir şey cihaz olmadan çalışmaz.
En hızlı yol: AI Başlatma (yaklaşık 4 dakika)
Tek isteğiniz çalışan bir modelse sihirbazı tamamen atlayın.
- LLM Başlatıcı → LLM Modelleri'ne gidin.
- Küçük bir model arayın — ilk deneme için
Qwen/Qwen3-8Biyi bir seçimdir. - Satırındaki AI Başlatma'ya basın.
- Altı planlama fazını izleyin. Plan hazır dediğinde özet satırını okuyun: {device} üzerinde başlatmaya hazır.
- Seçtiği motoru, imajı, GPU'ları, nicemlemeyi ve bağlamı görmek isterseniz Detaylar'ı, her birinin gerekçesi için Bu ayarların nedeni'ni açın.
- Planın altında Sohbet arayüzü'nü açın ve gösterdiği kimlik bilgilerini kopyalayın.
- Başlat'a basın.
Hepsi bu kadar. Dağıtımınızı doğrulayın bölümüne geçin.
Tam yol: başlatma sihirbazı (yaklaşık 10 dakika)
1. Uygulamalara göz atın (1 dakika)
LLM Başlatıcı → Uygulamalar. Cihaz türüne göre filtreleyin — Sunucu - İş İstasyonu, Jetson ya da DGX Spark — ve bir motor seçin:
- vLLM — yüksek verimli LLM çıkarımı
- TensorRT-LLM — NVIDIA'nın optimize motoru
- Ollama — basit yerel modeller
- llama.cpp — GGUF ağırlıkları, Jetson dâhil
- NVIDIA Dynamo — dağıtık çoklu GPU
- NVIDIA VSS — video arama ve özetleme
Birini Detayları Görüntüle ile açın ve Sürümler sekmesine bakın.
2. Sihirbazı başlatın (1 dakika)
Tek Cihazda Uygulama Başlat'a basın.
Adım 1 — Cihaz Seç. Bağlı bir cihaz seçin. Alt bilgi {device} cihazına dağıtılıyor diye onaylar.
Adım 2 — Sürüm Seç. Yalnızca uyumlu imajlar listelenir. Her biri şöyle işaretlidir:
- İndirildi — zaten cihazda
- İndirilecek — başlatmada çekilir
- Uyumsuz — nedeniyle birlikte, örneğin sürücü sürümü uyuşmazlığı
İleri'ye basın.
3. Yapılandırın (4 dakika)
- adım bir raydır. Yukarıdan aşağı ilerleyin.
Profil (ekranın üstünde) — Hızlı başlangıç'a basın. Bu sohbet arayüzünü açar ve başka hiçbir şeye dokunmaz.
Model
- Model merkezi kartında kalın.
- Küçük bir model seçin — ilk dağıtım için 7B ya da 8B.
- Kataloğun altındaki uyum satırını okuyun. Görmek istediğiniz şudur: "{model} seçiminize rahatça sığıyor."
İşlem
- Bir GPU seçin ya da Tümünü kullan'ı açın.
- Ana makine sınırları'nı Otomatik'te bırakın.
Erişim — Hızlı başlangıç profili tarafından zaten ayarlandı. Gösterdiği kimlik bilgilerini kopyalayın; bir kez gösterilirler.
Geçersiz Kılmalar — atlayın. Uygulamanın varsayılanları zaten doğrudur.
İncele ve başlat — Oluşan komut'u ve Oluşturulacak konteynerler'i okuyun. Bir engelleyici listelendiyse üzerine tıklayın: sizi onu düzelten bölmeye götürür.
4. Başlatın (1 dakika, artı imaj çekme süresi)
Ortamı Başlat'a basın.
Arka planda Cordatus cihaza bağlanır, imaj yoksa çeker, konteynerleri oluşturur, ağı ve volume'ları yapılandırır ve servis katmanını yanında başlatır.
İlk çekme birkaç dakika sürebilir. Bu sırada konteyner İndiriliyor olarak görünür.
Dağıtımınızı doğrulayın
- LLM Başlatıcı → Konteynerler'e gidin.
- Yeni konteyner grubu'nu bulun ve durumunu kontrol edin.
- Grubu Aç, sonra motorda Konteyner Bilgileri'ne basın.
- Loglar — modelin yüklendiğini görmelisiniz.
- Portlar — yerel adresi kopyalayın.
Test edin:
curl http://<cihaz-ip>:<port>/v1/models
Sonra Open WebUI konteynerinin adresini tarayıcıda açın ve kopyaladığınız yönetici bilgileriyle giriş yapın.