आपकी सिफारिशें कैसे काम करती हैं?
अनुशंसाएँ निश्चित नियमों के अनुसार बनाई जाती हैं। कोई भी AI निर्णय नहीं लेता, और न ही कोई भुगतान आधारित प्रदर्शन होता है।
01 · बाहर करना
सबसे पहले वे मॉडल हटा दिए जाते हैं जो किसी आवश्यकता को पूरा नहीं करते: चुने गए पाठ की लंबाई के लिए बहुत छोटी कंटेक्स्ट विंडो (8,000 / 32,000 / 200,000 टोकन), छवि विश्लेषण हेतु कोई छवि इनपुट न होना, अनुरोधित क्षेत्र में कोई प्रसंस्करण न होना, या स्थानीय उपयोग हेतु कोई ओपन वेट्स उपलब्ध न होना।
स्थानीय उपयोग हेतु हम यह भी जाँचते हैं कि क्या मॉडल आपके हार्डवेयर की मेमोरी में फिट बैठता है। संपीड़ित संस्करण (Q4) के लिए अनुमान: प्रति अरब पैरामीटर 0.6 GB और अतिरिक्त 1.5 GB मेमोरी।
कार्य या टीम उपयोग के लिए ऐसे मॉडल जिनके लाइसेंस में वाणिज्यिक उपयोग पर प्रतिबंध है, उन्हें बाहर रखा गया है।
02 · स्कोरिंग
प्रत्येक रेटेड मॉडल के पास प्रत्येक कार्य के लिए 1 से 3 तक का गुणवत्ता स्तर होता है। ये स्तर सार्वजनिक रैंकिंगों से निर्धारित होते हैं – रैंकिंग में शीर्ष एक तिहाई हिस्सा टियर 3, मध्य एक तिहाई हिस्सा टियर 2, एवं निचला एक तिहाई हिस्सा टियर 1 होता है। प्रत्येक कार्य के लिए हम उपलब्ध सबसे विशिष्ट रैंकिंग का उपयोग करते हैं।
| कार्य | रैंकिंग (फॉलबैक) |
|---|---|
| पाठ लिखना | LMArena Creative Writing (Text) |
| दस्तावेज़ों का सारांश निकालना | LMArena Document (Longer Query, Text) |
| चैटबॉट | LMArena Text |
| प्रोग्रामिंग | LMArena Coding (WebDev) |
| अनुवाद करना | LMArena Non-English (Text) |
| गणित | LMArena Math |
| छवियों का विश्लेषण | LMArena Vision |
| वीडियोओं का विश्लेषण | LMArena Vision – वीडियो समझने के लिए अभी तक कोई सार्वजनिक रैंकिंग उपलब्ध नहीं है, इसलिए छवि समझने की रैंकिंग का उपयोग अनुमान के लिए किया जाता है |
| छवियाँ बनाना/संपादित करना | LMArena Text-to-Image / Image Edit |
| वीडियो बनाना/फोटो को वीडियो में बदलना | LMArena Text-to-Video / Image-to-Video |
| ऑडियो को ट्रांसक्राइब करना | Hugging Face Open ASR Leaderboard (अंग्रेज़ी एवं बहुभाषी स्थितियों का औसत) |
LMArena की रैंकिंगें वास्तविक उपयोगकर्ताओं द्वारा किए गए लाखों अंधे तुलना परीक्षणों पर आधारित हैं। Open ASR Leaderboard, निश्चित परीक्षण रिकॉर्डिंगों में शब्द त्रुटि दर को मापता है (कम = बेहतर)। यदि आप किसी विशेष क्षेत्र (कानून, चिकित्सा, व्यवसाय, विज्ञान) को चुनते हैं, तो संबंधित LMAArena विषय रैंकिंग औसत में एक अतिरिक्त स्तर के रूप में गिनी जाती है। जो मॉडल इनमें से किसी भी रैंकिंग में नहीं आते हैं, उनकी कोई रैंकिंग नहीं होती। जहाँ हमारे पास बेहतर स्रोत होते हैं, वहाँ हम व्यक्तिगत स्तरों को हाथ से सुधारते हैं एवं मॉडल पृष्ठ पर इसका उल्लेख करते हैं। एक सामान्य अनुरोध की कीमत लॉगरिदमिक पैमाने पर दी जाती है, क्योंकि कीमतों में हजार गुना का अंतर होता है। दोनों ही मापदंड आपकी प्राथमिकता के अनुसार वजन दिए जाते हैं।
| प्राथमिकता | गुणवत्ता | मूल्य |
|---|---|---|
| सस्ता | 30 % | 70 % |
| संतुलित | 50 % | 50 % |
| सर्वोत्तम गुणवत्ता | 80 % | 20 % |
जब प्रति महीने 10,000 अनुरोध होते हैं तो मूल्य का महत्व 10 प्रतिशत अंकों के बराबर बढ़ जाता है, क्योंकि छोटे मूल्य अंतरों का संचय होने लगता है। समान परिणामों की स्थिति में कम कीमत वाला विकल्प चुना जाता है, उसके बाद बड़ा कंटेक्स्ट विंडो वाला विकल्प।
03 · एक साथ कई कार्य
आप कई कार्य चुन सकते हैं। पाठ एवं विश्लेषण संबंधी कार्यों के उत्तर एक ही मॉडल द्वारा दिए जाते हैं जिसे सभी कार्यों को संभालना होता है; इन कार्यों के लिए उसकी गुणवत्ता उसके विभिन्न स्तरों के औसत के बराबर होती है। चित्र, वीडियो एवं ट्रांसक्रिप्शन के लिए अलग-अलग मूल्य निर्धारित हैं क्योंकि लगभग कोई भी मॉडल सब कुछ नहीं कर सकता। चित्रों के लिए प्रति चित्र, वीडियों के लिए प्रति 10 सेकंड के क्लिप एवं ट्रांसक्रिप्शन के लिए प्रति मिनट ऑडियो के हिसाब से शुल्क लिया जाता है। ये मूल्य सार्वजनिक LiteLLM मूल्य सूची से लिए गए हैं; जहाँ कई प्रदाता या गुणवत्ता स्तर सूचीबद्ध होते हैं, वहाँ हम सबसे सस्ते के बजाय मध्यवर्ती (सामान्य) मूल्य का उपयोग करते हैं। बिना क्लाउड सुविधा वाले ओपन स्पीच रिकग्निशन मॉडल केवल स्थानीय उपयोग के लिए ही सिफारिश किए जाते हैं।
04 · बेंचमार्क्स
बेंचमार्क स्कोरों में अलग‑अलग पैमाने (प्रतिशत, एलो अंक, त्रुटि दरें) होते हैं, इसलिए इनका सीधा औसत नहीं निकाला जा सकता। हम प्रत्येक स्कोर को यहाँ सूचीबद्ध सभी मॉडलों के बीच 0 से 100 तक की स्थिति में बदल देते हैं, जिन्होंने वही बेंचमार्क लिया है (100 = सर्वश्रेष्ठ; त्रुटि दरों के मामले में सबसे कम मान सर्वश्रेष्ठ होता है)। जब कम से कम 3 मॉडलों की तुलना की जा सकती है तभी ही स्थिति दिखाई देती है। बेंचमार्क औसत इन स्थितियों का औसत होता है। जिन क्षेत्रों में औसत स्थिति 75 या उससे अधिक होती है उन्हें “मजबूती” कहा जाता है, जबकि 30 या उससे कम होने पर उन्हें “कमजोरी” कहा जाता है। बेंचमार्कों का उपयोग सिफारिशों में नहीं किया जाता – ये सिफारिशें हमारे द्वारा निर्धारित गुणवत्ता स्तरों पर आधारित होती हैं।
05 · डेटा स्रोत
मॉडल एवं मूल्य: OpenRouter। ओपन वेट्स एवं होस्टिंग प्रदाता (क्षेत्रों के लिए): models.dev। ओपन मॉडलों का लाइसेंस एवं आकार: Hugging Face। रैंकिंग: LMArena एवं Open ASR Leaderboard। प्रति छवि, प्रति सेकंड वीडियो एवं प्रति मिनट ऑडियो का मूल्य: LiteLLM। विनिमय दर: यूरोपीय केंद्रीय बैंक। सब कुछ हर दिन स्वचालित रूप से अपडेट हो जाता है; यदि कोई स्रोत बंद हो जाए तो पिछले ज्ञात मान ही बने रहते हैं।
06 · विज्ञापन
यदि हम विज्ञापन दिखाते हैं तो उन पर स्पष्ट रूप से लेबल लगा होता है, वे केवल अलग क्षेत्रों में ही दिखाई देते हैं एवं कभी भी रैंकिंग या सिफारिशों को प्रभावित नहीं करते।
07 · सीमाएँ
गुणवत्ता स्तरों को सरल रूप में प्रस्तुत किया गया है। मूल्य OpenRouter से लिए गए हैं एवं प्रदाता से सीधे खरीदने पर या अन्य क्षेत्रों में इनमें अंतर हो सकता है। मेमोरी के आंकड़े अनुमानित हैं। हमारे स्वयं के रेटिंग वाले न होने वाले मॉडल तुलना में दिखाए जाते हैं, लेकिन सिफारिशों में नहीं।
कुछ प्रकार की एआई तकनीकें अभी तक शामिल नहीं की गई हैं, जैसे संगीत निर्माण, 3डी मॉडल एवं सीएडी, या ऑडियो आउटपुट (टेक्स्ट-टू-स्पीच): इनके लिए वर्तमान में कोई सार्वजनिक रैंकिंग या खुला डेटा उपलब्ध नहीं है जिसका हम उपयोग कर सकें। हम स्रोतों के बिना सिफारिश करने के बजाय इन्हें बाहर रखना ही पसंद करते हैं।
गोपनीयता संबंधी जानकारियाँ कानूनी सलाह नहीं हैं। कृपया प्रदाता के साथ हस्ताक्षरित अनुबंधों (जैसे डेटा प्रसंस्करण समझौतों) की स्वयं जाँच करें।