AI Başlatma

AI Başlatma, çalışan bir modele giden tek diyaloglu yoldur. Bir Hugging Face repo kimliği verirsiniz — ya da model listesindeki bir satırda AI Başlatma'ya basarsınız, kimlik kendiliğinden dolar — ve gerisini Cordatus çözer: hangi cihazınız bu modeli çalıştırabilir, hangi motor, hangi konteyner imajı, kaç GPU, hangi nicemleme, ne kadar bağlam ve hangi bayraklar.

Siz planı görmeden hiçbir şey başlamaz.

Altı planlama fazı, Detaylar, Bu ayarların nedeni, docker komutu ve ardından Başlat

Nereden başlatılır

Başlangıç noktası	Ne olur
LLM Modelleri → Hugging Face, bir model satırındaki AI Başlatma düğmesi	Model zaten seçilidir; diyalogun yalnızca cihaz seçip plan yapması gerekir.
LLM Modelleri → Kullanıcı Modelleri, bir model satırındaki AI Başlatma düğmesi	Model ve cihaz zaten bellidir — plan, modeli barındıran cihaz için yapılır.
Model seçilmeden açıldığında	Diyalog önce bir Hugging Face modeli kimliği ister (örneğin `Qwen/Qwen3-8B`). Planlamayı başlatmak için Enter'a basın.

AI Başlatma'nın yanında her zaman Manuel → Şununla manuel çalıştır… seçeneği bulunur; bu sizi başlatma sihirbazına götürür.

1. Kapılı modeller ve token'lar

Model listesi deponun kapılı (gated) olduğunu zaten biliyorsa, diyalog planlamadan önce bir Hugging Face token'ı ister — kapılı bir model hem yapılandırmasını okumak hem de ağırlıklarını indirmek için token gerektirir; bu yüzden baştan sormak kesin başarısız olacak bir gidiş-dönüşü önler.

Şunlardan birini yapabilirsiniz:

token kasanızdan Kayıtlı bir token kullan, ya da
alttaki alana bir token yapıştırın (hf_…).

not

Bu alan bir giriş şifresi değil, bir API token'ıdır. Cordatus, tarayıcının parola yöneticisinin bu alanı otomatik doldurmasını bilinçli olarak engeller.

2. Planlama

Planlama altı fazdan oluşur ve diyalog tek bir dönen simge yerine hangi fazda olduğunu gösterir:

Cihazlarınız denetleniyor — hangi cihazlar çevrimiçi ve neler bildiriyor.
Model okunuyor — config.json ve deponun dosya listesi. Model zaten cihazdaysa bu bilgi Hugging Face'ten değil, doğrudan cihazdan okunur.
Çıkarım motoru seçiliyor
Bir konteyner imajı eşleştiriliyor
GPU'lar ve bağlam ayrılıyor
Motor argümanları ayarlanıyor

Bittiğinde başlıkta Plan hazır yazar.

uyarı

Cordatus'un o cihaz için kayıtlı bir model yolu varsa ama oradaki dosyaları okuyamıyorsa, sonucun üstünde bir uyarı belirir: "Modelin dosyaları cihazda okunamadı … Plan Hugging Face'e geri döndü." Ardından gelen indirmenin sebebi budur — repo kimliğini ya da token'ı değil, yolu düzeltin.

3. Hedef cihazın seçilmesi

Girdi alanının altında Cordatus bu modeli çalıştırabilecek cihazları sıralar ve seçtiğini işaretler:

\{n\} of \{m\} device(s) can run this model
Değerlendirmeye alınmayan cihazlar Değerlendirilmeyen {n} cihazı göster düğmesinin arkasında durur ve her satırda sebebi yazar.
Model Kullanıcı Modelleri'den geldiyse satırda "bu modelin kayıtlı olduğu {device} için planlandı" yazar ve cihaz sabitlenir.
Sinyal sunucusuna erişilemiyorsa liste son heartbeat'e göre kurulur ve bunu açıkça söyler.

Serbest bir cihaz seçici bilinçli olarak yoktur: AI Başlatma'nın amacı sıralamanın kendisinin öneri olmasıdır; siz de başka bir satır seçerek onaylar ya da bu öneriyi geçersiz kılarsınız.

4. Plan kartı

Sonuç tek bir cevaptır — {device} üzerinde başlatmaya hazır — ve yanında gerekçeleri durur. Plan çalıştırılamıyorsa bu satır bunun yerine engelleyiciyi gösterir; engelleyiciler ve uyarılar özetin üstünde, katlanıp gizlenemeyecekleri yerde kalır.

Engelleyiciler, uyarılar ve modelin yazarının kendi uyarıları

Engelleyiciler (kırmızı) başlatmayı durdurur. Örnek: model bu cihazdaki hiçbir GPU'ya sığmıyor.
Uyarılar (turuncu) devam etmeye izin verir ama ne bekleyeceğinizi söyler.
Tarif uyarıları (kahverengi) tarifin kendi kılavuzundan kelimesi kelimesine alınmıştır ve alıntı kanıt olarak gösterilir.

Detaylar

Detaylar tam satır listesini açar. Modele göre şunları görürsünüz:

Satır	Anlamı
Model	Planın yapıldığı depo.
Motor	Seçilen çıkarım motoru (vLLM, llama.cpp, TensorRT-LLM, Ollama…).
İmaj	Tam konteyner imajı ve etiketi.
GPU'lar	Hangi GPU'lar; tensor paralelliği kullanıldığında `tp=` ile, ya da `CPU only`.
VRAM	Seçili her GPU'da boş ve toplam bellek. GPU meşgulse uyarı olarak işaretlenir.
Bağlam	Bayrakların isteyeceği bağlam penceresi.
Nicemleme	Hangi nicemleme seçildi ve yaklaşık ağırlık başına bit sayısı.
Model önbelleği	Ağırlıkların nereden geldiği — cihazda olup bir yola bağlanıyor mu, yoksa henüz indirilmedi mi. değiştir ile farklı bir ana makine dizini seçebilirsiniz.
Eşzamanlılık	Ayarların izin verdiği eşzamanlı istek sayısı.
Spekülatif kod çözme	Açık mı kapalı mı ve neye göre ölçüldüğü.
Şimdi uyuyor	Yalnızca teoride değil, şu anda boş olan bellekle de sığıp sığmadığı.
Cihaz kapasitesi	GPU boştayken durumun nasıl görüneceği.

Bu ayarların nedeni

Varsayılan olarak kapalıdır. İçinde:

Kanıt — her kararın nereden geldiği: belgelerde adı geçiyor, motor kaynağı, belgelenmiş asgari sürüm, en yeni sürüm, registry'de bulundu, yayımlanmış dosya boyutlarından seçildi, bu planın boş belleğine göre ölçüldü, GPU planı, ağırlıkların geldiği yer, motor seçimi.
Gözlemler — model ya da donanım hakkında niteliksel notlar.
Ayarlamalar — sığdırmak için nelerin değiştirildiği.
Öneriler — daha iyi olması için nelerin değiştirilebileceği.
Sizin için seçildi / Varsayılan ayar — son karar ve gerekçesi, ayrıca doğrulanmış ama seçilmemiş alternatifleri listeleyen diğer seçenekler.
Tarif notu — modele özgü bayrakların nereden geldiği ve o tavsiyenin aslında hangi makine için yazıldığı.

Docker komutunu göster

Cihazın çalıştıracağı tam komut. Planın arkasında saklanan hiçbir şey yoktur.

5. Kimlik bilgileri, erişim ve hesaplar

Planın altında, sihirbazdakiyle aynı servis katmanı yapılandırması, derli toplu biçimde:

Sohbet arayüzü — Open WebUI, sizin için oluşturulmuş bir yönetici hesabıyla.
API gateway — LiteLLM: anahtarları, kotaları ve istek loglarıyla tek bir OpenAI uyumlu uç nokta.

Kimlik bilgileri, erişim ve hesaplar bölümünü açtığınızda yönetici kimlik bilgileri, master key, ek Open WebUI hesapları ve LiteLLM virtual key'leri karşınıza çıkar; her biri Göster, Kopyala ve Yeniden üret düğmeleriyle birlikte gelir. Ayrıca her iki servise ağ dışından erişmek için Public URL'ler vardır.

uyarı

Kimlik bilgilerini başlatmadan önce kopyalayın. Cordatus bunları saklamaz ve başlatma başlarken diyalog kapanır.

6. Başlatın ya da sihirbaza devredin

Düğme	Sonuç
Başlat	Planı başlatır. Bir engelleyici varken pasiftir.
Gelişmiş'te düzenle	Başlatma sihirbazını, planlayıcının bulduğu cihaz, imaj, model, GPU ve bayraklar önceden doldurulmuş hâlde açar.
Tekrar deneyin	Bir hatadan sonra planlamayı yeniden çalıştırır.
İptal	Hiçbir şey başlatmadan kapatır.

Başlattıktan sonra konteynerler, diğer tüm dağıtımlar gibi Konteynerler sayfasında görünür.

Sorun giderme

Gördüğünüz	Anlamı
"Bu plan başlatılamaz"	Hemen üstünde bir engelleyici listelenmiştir. Onu giderin ya da başka bir cihaz satırı seçin.
Şimdi uyuyor altında "sığmıyor"	Yalnızca ağırlıklar bile seçili GPU'ları doldurur. Nicemlenmiş bir varyant ya da daha büyük bir cihaz seçin.
"Modelin dosyaları cihazda okunamadı"	O cihazdaki kayıtlı model yolu okunamıyor. Plan Hugging Face'e geri döndü ve indirme yapacak.
Planlama Cihazlarınız denetleniyor aşamasından ilerlemiyor	Hiçbir cihaz çevrimiçi değil ya da sinyal sunucusuna ulaşılamıyor. Cihazlar sayfasını kontrol edin.
Zaten kaydettiğiniz bir token yeniden isteniyor	Kayıtlı token bu depo için yetkili değil. Erişimi olan bir token yapıştırın.

Nereden başlatılır​

1. Kapılı modeller ve token'lar​

2. Planlama​

3. Hedef cihazın seçilmesi​

4. Plan kartı​

Engelleyiciler, uyarılar ve modelin yazarının kendi uyarıları​

Detaylar​

Bu ayarların nedeni​

Docker komutunu göster​

5. Kimlik bilgileri, erişim ve hesaplar​

6. Başlatın ya da sihirbaza devredin​

Sorun giderme​