SI yordamida PDF hujjatlarni qulaylik talablariga moslash
Legible hujjatni — URL orqali berilgan yoki yuklangan PDF yoxud tasvirni — ekran o‘qish dasturlari foydalana oladigan natijaga aylantiradi. U universitetlar va nashriyotlarda qulaylik bo‘yicha ishlarni boshqaradigan mutaxassislar uchun yaratilgan: ular darsliklar, maqolalar va slayd taqdimotlarini ko‘zi ojiz va zaif ko‘radigan o‘quvchilar uchun yaroqli qilishi kerak. Legible har bir rasm, diagramma, sxema va formula uchun ekran o‘qish dasturiga kerak bo‘lgan tuzilmani yaratadi va inson hali nimani tekshirishi kerakligini aniq belgilab beradi.
Biz uni AMD Developer Hackathon: ACT II’ning 3-yo‘nalishi (Track 3) uchun qurdik. Kod MIT litsenziyasi ostida va GitHub’da ochiq.
Asosiy imkoniyatlar
- Ikki darajali alt-matn — har bir rasm 125 belgigacha bo‘lgan qisqa
altatributi va to‘liq, tuzilmali tavsif oladi. - Diagrammadan jadvalni tiklash — diagramma ortidagi raqamlar qator va ustunlar ko‘rinishida tiklanadi, shuning uchun ma’lumotlar rang yoki shaklga bog‘liq bo‘lib qolmaydi.
- Formulalar uchun MathML — LaTeX yonida to‘g‘ri presentation MathML bo‘ladi, shuning uchun ekran o‘qish dasturlari formulalarni to‘g‘ri o‘qiydi.
- Taxmindan ko‘ra null yaxshi — o‘qib bo‘lmaydigan qiymat null bo‘ladi va
needs_human_reviewbelgisini yoqadi. Modelga raqamlarni o‘ylab topish qat’iyan taqiqlangan. - Manba va ishonch darajasi — har bir element rasmning o‘zidan, izohdan yoki xulosadan olinganini qayd etadi.
- Qulay HTML eksporti — to‘plamda
figurevafigcaptionelementlari, ochiladigan to‘liq tavsiflar, sarlavhali jadvallar va MathML bor. Alohida endpoint rasm ID’larini alt-matnga bog‘lovchi JSON xaritani qaytaradi.
Arxitektura va texnologiyalar
Konveyer
Vazifa yetti bosqichdan o‘tadi: qabul qilish, rastrlash, rasmlarni aniqlash, tahlil, sintez, tekshirish va saqlash. Hujjatlar httpx bilan yuklab olinadi yoki to‘g‘ridan-to‘g‘ri yuklanadi. PDF’lar PyMuPDF bilan 150 DPI’da rastrlanadi, zaxira variant sifatida pdf2image ishlatiladi.
Standart rasm detektori har bir sahifani bitta rasm hududi deb hisoblaydi — bu slaydlar, yakka diagrammalar va skanlar uchun yaxshi ishlaydi. Har bir rasmni alohida aniqlaydigan maket tahlilini keyinchalik konveyerning qolgan qismini o‘zgartirmasdan alohida provayder sifatida qo‘shish mumkin.
Rasmlarni o‘qish va tuzilmaga solish
Qwen2.5-VL har bir rasm kesimini o‘qiydi: rasm turini aniqlaydi, undagi matnni ko‘chiradi, diagramma qiymatlarini ajratib oladi va formulalarni yozib chiqadi. Aynan shu paketli vizual yuklama ROCm orqali AMD Instinct MI300X GPU’lari uchun mo‘ljallangan.
Keyin Gemma bu natijalarni qulaylik sxemasiga aylantiradi. U 0 haroratda JSON-schema asosidagi tuzilmali chiqishdan foydalanadi va faqat vizual model ko‘rgan narsaga tayanadi. Tekshirish bosqichi bo‘sh yozuvlarni olib tashlaydi, rasmlarni qayta raqamlaydi, qisqa alt-matnni kerakli uzunlikkacha qisqartiradi va noaniq hamma narsani tekshiruvga yo‘naltiradi.
Servis
Servis FastAPI’da ishlaydi: asinxron vazifalar, Server-Sent Events orqali jarayon holati, SQLite’da saqlash va almashtiriladigan provayderlar. Sintez uchun Google AI Studio yoki Fireworks AI orqali Gemma’dan yoxud AMD uskunasida vLLM orqali ishlaydigan Gemma’dan foydalanish mumkin. Mock rejimida butun konveyer to‘plamdagi iqlim fani darsligining bir sahifasi asosida oflayn ishlaydi va bu rejimda barcha 14 ta test muvaffaqiyatli o‘tadi.
Qulaylik bo‘yicha ish jarayonida uning o‘rni
Legible birinchi bosqichni bajaradi, yakuniy tasdiqni emas. U mutaxassis har bir rasmni qo‘lda qayta ishlash o‘rniga belgilangan rasmlarga e’tibor qaratishi uchun yaratilgan. Biz uning natijasi o‘z-o‘zidan talablarga to‘liq mos deb da’vo qilmaymiz. Inson tekshiruvi tizimning bir qismi sifatida o‘ylab qo‘yilgan.
Tegishli ishlar
Legible — sun’iy intellekt integratsiyasi va avtomatlashtirish bo‘yicha ishlarimizdan biri. Hujjatlarni o‘qishni osonlashtiradigan yana bir konveyer — Knigopoisk uchun skanerlangan PDF’larni yirik shriftli nashrlarga aylantirish. Xuddi shu xakatonda qurilgan boshqa loyihalar: Testify, RecipeReel va Keystone.
