LectureLoom

Ma’ruza videolarini o‘quv konspektiga aylantiradigan SI vositasi

LectureLoom ma’ruza yoki dars videosini — YouTube yoki Vimeo havolasidan yoxud yuklangan fayldan — oladi va bitta tartibli o‘quv qo‘llanmasini qaytaradi:

• oddiy tilda qisqacha mazmun
• asosiy xulosalar
• ta’riflari bilan asosiy atamalar
• vaqt belgili bo‘limlar rejasi
• tilga olingan manbalar
• avtomatik tuzilgan o‘quv savollari

U talabalar, konspekt yozuvchilar va kurs mualliflari uchun mo‘ljallangan, natijasi esa ta’lim platformalari to‘g‘ridan-to‘g‘ri qabul qila oladigan shaklda tuziladi.

Biz uni AMD Developer Hackathon: ACT II’da RecipeReel loyihasining «egizagi» sifatida qurdik. Arxitektura bir xil, faqat domen modeli va promptlar o‘zgargan. Kod GitHub’da ochiq.

Asosiy imkoniyatlar

• Slaydlarni hisobga oladigan konspekt — atamalar, formulalar va sanalar slayddagi matndan olinadi, tushuntirishlar va bo‘limlar tartibi esa o‘qituvchining nutqidan.
• Klip qilishga tayyor bo‘limlar — har bir bo‘limning boshlanish va tugash vaqti bor, shuning uchun uni kerakli soniyadan ochish yoki alohida klip qilib kesib olish mumkin.
• To‘qib chiqarilgan ta’riflar yo‘q — o‘qituvchi tilga olgan, lekin ta’rif bermagan atamaning ta’rifi bo‘sh (null) qoladi, har bir atama esa «aytilgan», «ekranda» yoki «xulosa qilingan» deb belgilanadi.
• O‘quv savollari — ma’ruza mazmuniga asoslangan, o‘zini tekshirish uchun avtomatik tuzilgan savollar.
• LearningResource JSON-LD — bo‘limlar boshlanish va tugash vaqti ko‘rsatilgan schema.org Clip qismlari sifatida eksport qilinadi. Bu qidiruv tizimlari va ta’limni boshqarish tizimlari (LMS) o‘qiy oladigan standart format.

Arxitektura va texnologiyalar

Backend — asinxron vazifa worker’i bilan FastAPI; jarayon Server-Sent Events orqali jonli ko‘rsatiladi, ma’lumotlar SQLite’da saqlanadi. Vazifa quyidagi bosqichlardan o‘tadi:

1. Videoni yt-dlp bilan yuklab olish.
2. Audioni FFmpeg bilan ajratib olish.
3. Vaqt belgili kalit kadrlarni tanlab olish.
4. Audioni Whisper-large-v3 bilan matnga o‘girish.
5. Slaydlarni Qwen2.5-VL bilan o‘qish.
6. Gemma’ga 0 haroratda sxema bilan cheklangan JSON tuzdirish.
7. Konspektga yakuniy ishlov berish: takroriy atamalarni olib tashlash, bo‘limlarni vaqt bo‘yicha tartiblash va qayta raqamlash, ma’ruza davomiyligini aniqlash.

Ikkala idrok bosqichi — transkripsiya va slaydlarni o‘qish — ROCm orqali AMD Instinct MI300X GPU’lari uchun qurilgan.

RecipeReel’dagi kabi har bir bosqich almashtiriladigan provayder bo‘lib, uning mock varianti bor. Sintezator OpenAI API tilida ishlaydi, shuning uchun kodni o‘zgartirmasdan uni Google AI Studio’dagi Gemma’ga, Fireworks AI’dagi modelga yoki AMD uskunasida vLLM orqali ishlaydigan Gemma’ga yo‘naltirish mumkin. Mock rejimida butun konveyer to‘plamdagi fotosintez haqidagi ma’ruza asosida oflayn ishlaydi — 11 ta testdan iborat to‘plam ham aynan shu rejimda ishga tushadi. Yengil (slim) va ROCm uchun Dockerfile’lar ham qo‘shilgan.

Nimani topshirdik

Bir kunda umumiy konveyer ustiga «ma’ruza videosidan o‘quv konspekti» versiyasini qurdik. Unga dars ma’lumotlar modeli (asosiy atamalar, bo‘limlar, manbalar va o‘quv savollari), qayta yozilgan promptlar, LearningResource eksporti, ma’ruza namunalari (fixture), testlar va Docker paketi kiradi. U deyarli hamma narsani RecipeReel bilan bo‘lishgani uchun demo va joylashtirish bo‘yicha asosiy kuchimiz pazandachilik mahsulotiga ketdi.

Tegishli ishlar

LectureLoom — sun’iy intellekt integratsiyasi va avtomatlashtirish bo‘yicha ishlarimizdan biri. To‘laqonli ta’lim mahsulotini ko‘rish uchun BiliMind SI kurs generatori keysiga qarang. Xuddi shu xakatonda qurilgan boshqa loyihalar: Legible, Testify va Keystone.