Tavsiyeler nasıl çalışır
Tavsiyeler belirlenmiş kurallara göre verilir. Kararı hiçbir AI vermez ve ücretli reklamlar bulunmaz.
01 · Dışlama
Öncelikle belirli gereksinimleri karşılayamayan modeller kaldırılır: seçilen metin uzunluğu için çok küçük bir bağlam penceresi (8.000 / 32.000 / 200.000 token), görüntü analizi için görüntü girişi olmaması, istenen bölgede işlem yapamama veya yerel kullanım için açık ağırlıkların bulunmaması gibi durumlar söz konusu olduğunda.
Yerel kullanım için modelin donanımınızın belleğine sığıp sığmadığını da kontrol ediyoruz. Sıkıştırılmış versiyon (Q4) için tahmini değer: her milyar parametre için 0.6 GB artı 1.5 GB boşluk.
İş veya ekip kullanımı için lisansı ticari kullanımı yasaklayan modeller dışlanmıştır.
02 · Puanlama
Her değerlendirilmiş model, her görev için 1’den 3’e kadar bir kalite seviyesine sahiptir. Bu seviyeler kamuya açık sıralamalardan belirlenir: sıralamanın en üst üçte biri 3. seviye, orta üçte biri 2. seviye ve en alt üçte biri 1. seviyedir. Her görev için mevcut en spesifik sıralamayı kullanırız.
| Görev | Sıralama (yedek) |
|---|---|
| Metin yazma | LMAArena Creative Writing (Text) |
| Belgeleri özetleme | LMAArena Document (Longer Query, Text) |
| Sohbet botu | LMAArena Text |
| Programlama | LMAArena Coding (WebDev) |
| Çeviri | LMAArena Non-English (Text) |
| Matematik | LMAArena Math |
| Görüntü analizi | LMAArena Vision |
| Video analizi | LMAArena Vision – video anlama için henüz kamuya açık bir sıralama bulunmadığından görüntü anlama yaklaşık değer olarak kullanılır |
| Görüntü oluşturma/düzenleme | LMAArena Text-to-Image / Image Edit |
| Video oluşturma/fotoğraf → video | LMAArena Text-to-Video / Image-to-Video |
| Sesin transkripsiyonu | Hugging Face Open ASR Leaderboard (İngilizce ve çok dilli konumların ortalaması) |
LMArena sıralamaları gerçek kullanıcıların yaptığı milyonlarca kör karşılaştırmaya dayanmaktadır. Open ASR Sıralama Tablosu ise sabit test kayıtlarındaki kelime hata oranını ölçer (daha düşük oran daha iyidir). Hukuk, tıp, iş dünyası, bilim gibi uzmanlık gerektiren alanlar seçerseniz, ilgili LMAArena alan sıralaması ortalama değerde ek bir kriter olarak dikkate alınır. Bu sıralamalarda yer almayan modellerin puanı belirlenmez. Daha iyi kaynaklara sahip olduğumuz durumlarda tekil kategorileri manuel olarak düzeltir ve bunu model sayfasında belirtiriz. Tipik bir isteğin maliyeti, fiyatların bin kat farklılık göstermesi nedeniyle logaritmik bir ölçekte gösterilir. Her ikisi de önceliğinize göre ağırlıklandırılır.
| Öncelik | Kalite | Fiyat |
|---|---|---|
| Ucuz | %30 | %70 |
| Dengeli | %50 | %50 |
| En iyi kalite | %80 | %20 |
Ayda 10.000 istekten itibaren küçük fiyat farkları etkili olmaya başladığı için ağırlıklandırma fiyata doğru 10 puan kayar. Eşitlik durumunda önce daha düşük fiyat, ardından daha büyük bağlam penceresi avantaj sağlar.
03 · Aynı anda birden fazla görev
Birden fazla görev seçebilirsiniz. Metin ve analiz görevlerine aynı model yanıt verir ve bu model tüm görevleri işlemek zorundadır; kalitesi bu görevler için belirlenen seviyelerin ortalamasıdır. Görseller, videolar ve transkripsiyon için ayrı fiyatlandırma uygulanır çünkü neredeyse hiçbir model her şeyi yapamaz. Görseller görsel başına, videolar 10 saniyelik bölümler halinde, transkripsiyon ise sesin dakikası başına ücretlendirilir. Bu fiyatlar kamuoyunda yayınlanan LiteLLM fiyat listesinden alınmıştır; birden fazla sağlayıcı veya kalite seviyesi bulunan durumlarda en ucuzu değil orta (tipik) fiyat kullanılır. Bulut hizmeti olmayan açık kaynaklı konuşma tanıma modelleri yalnızca yerel kullanım için önerilir.
04 · Karşılaştırma Ölçütleri
Karşılaştırma puanları farklı ölçekler kullanır (yüzdelikler, Elo puanları, hata oranları), bu yüzden bunların basitçe ortalaması alınamaz. Her puanı, aynı karşılaştırmayı yapan burada listelenen tüm modeller arasında 0 ile 100 arasında bir konuma dönüştürüyoruz (100 en iyiyi; hata oranları için en düşük değer en iyiyi gösterir). En az 3 model karşılaştırılabildiğinde bir konum gösterilir. Karşılaştırma ortalaması bu konumların aritmetik ortalamasıdır. Ortalama konumu 75 veya daha yüksek olan alanlar “güçlü yönler”, 30 veya daha düşük olanlar ise “zayıf yönler” olarak kabul edilir. Karşılaştırmalar önerilerde kullanılmaz; öneriler bizim belirlediğimiz kalite seviyelerine dayanır.
05 · Veri kaynakları
Modeller ve fiyatlar: OpenRouter. Açık ağırlıklar ve barındırma sağlayıcıları (bölgelere göre): models.dev. Açık modellerin lisansları ve boyutları: Hugging Face. Sıralamalar: LMArena ve Open ASR Leaderboard. Görüntü başına, video saniyesi başına ve ses dakikası başına fiyatlar: LiteLLM. Döviz kuru: Avrupa Merkez Bankası. Her şey her gün otomatik olarak güncellenir; bir kaynak kullanılamaz hale gelirse en son bilinen değerler aynı kalır.
06 · Reklamlar
Reklamlar gösterilirse bunlar açıkça etiketlenir, yalnızca ayrı bölümlerde yer alır ve asla sıralamaları veya önerileri etkilemez.
07 · Sınırlar
Kalite seviyeleri basitleştirilmiş bir sunumdur. Fiyatlar OpenRouter’dan alınmıştır ve sağlayıcıdan doğrudan satın alındığında veya farklı bölgelerde farklılık gösterebilir. Bellek değerleri tahmini olup gerçek değerlerden farklılık gösterebilir. Kendi değerlendirmemiz olmayan modeller karşılaştırmada yer alır ancak öneriler arasında yer almaz.
Müzik üretimi, 3D modeller ve CAD veya metinden ses çıkışı (text-to-speech) gibi bazı AI türleri henüz kapsam dışındadır. Bu alanlar için kullanabileceğimiz herhangi bir açık veriye dayalı kamuya açık sıralama mevcut değildir. Kaynak olmadan öneride bulunmaktansa bunları listeye dahil etmemeyi tercih ediyoruz.
Gizlilik notları hukuki tavsiye değildir. Sağlayıcıyla olan sözleşmeleri (örneğin veri işleme anlaşmalarını) kendiniz inceleyin.