ULAB

ULAB (Uzbek Language AI Benchmark) - o'zbek tilidagi sun'iy intellekt modellarining til bilim darajasini ob'ektiv va standartlashtirilgan tarzda baholash uchun yaratilgan ichki platforma. Bank ichki bo'limlari uchun o'zbek tilida AI yordamchi joriy etishni rejalashtirgan va qaysi model o'zbek tilini eng yaxshi tushunishini aniqlash zarur edi. ULAB 1 377 ta test savoli va interaktiv dashboard orqali 17 ta yetakchi AI modelini solishtirdi - model tanlashni sub'ektiv fikrdan raqamli ko'rsatkichlarga o'tkazdi.

• Bank uchun o'zbek tilidagi AI modellar reytingini tuzish.
• MCQ (A/B/C/D) formatida 1 377 savol bilan avtomatik, standart baholash.
• O'zbek vendorlarini (Kotib LLM, Muxlisa LLM) mustaqil test qilish.
• Boshqaruv uchun interaktiv dashboard va Excel hisobotlar.
• Keyingi baholashlar uchun qayta ishlatiladigan infratuzilma.

Kotib LLM v1 (mahalliy vendor)

72.8% - eng yaxshi, ma'lumot mamlakat ichida qoladi

Kimi K2.5 (open source)

72.3% - eng yaxshi open-source model

Mistral Large 2512 (commercial)

71.3% - eng yaxshi commercial model

Cogito 671B / Llama 4 Maverick

70.2% / 70.1% - kuchli open-source alternativalar

• Birorta ham model 75% dan oshmadi - o'zbek tili AI uchun hali hal etilmagan muammo.
• 14 modeldan 13 tasi 61-72% oralig'ida - tanlov narx va latensiya asosida qilinadi.
• Matnni tushunish (RC) eng oson - deyarli barcha modellar 90%+ ko'rsatdi.
• To'ldirish va so'z ma'nosi eng qiyin (32-42%) - chuqur semantik tushunishda zaiflik.
• Kotib LLM mahalliy vendor sifatida global open-source modellar bilan tenglashdi (72.8%).

• Tavsiya etilgan modellar: Kotib LLM v1 (72.8%), Kimi K2.5 (72.3%), Mistral Large (71.3%).
• Tanlangan modelni 3 bo'limda pilot test qilish.
• Bank domenida fine-tuning imkoniyatini o'rganish.
• Har chorakda benchmarkni qayta o'tkazish (yangi modellar uchun).