LectureLoom

ИИ-инструмент, который превращает видеолекции в конспекты

LectureLoom берёт видео лекции или урока — по ссылке на YouTube или Vimeo либо загруженным файлом — и возвращает одно структурированное учебное пособие:

• краткое содержание простым языком
• главные выводы
• ключевые термины с определениями
• план из разделов с таймкодами
• упомянутые источники
• сгенерированные вопросы для самопроверки

Инструмент рассчитан на студентов, тех, кто ведёт конспекты, и авторов курсов, а результат оформлен так, чтобы его могли загрузить к себе учебные платформы.

Мы сделали его на хакатоне AMD Developer Hackathon: ACT II как «родственника» RecipeReel. Архитектура та же — поменялись только предметная модель и промпты. Код открыт на GitHub.

Ключевые возможности

• Конспекты с учётом слайдов — термины, формулы и даты берутся из текста на слайдах, а объяснения и порядок разделов — из речи лектора.
• Разделы, готовые стать клипами — у каждого раздела есть таймкоды начала и конца, поэтому его можно открыть с нужной секунды или вырезать как отдельный клип.
• Никаких выдуманных определений — если лектор упоминает термин, но не даёт ему определения, поле определения остаётся пустым (null), а каждый термин помечается как прозвучавший, показанный на экране или выведенный из контекста.
• Вопросы для самопроверки — сгенерированные вопросы по содержанию лекции, чтобы проверить себя.
• LearningResource JSON-LD — разделы экспортируются как части schema.org Clip со смещениями начала и конца: это стандартный формат, который понимают поисковые системы и системы управления обучением (LMS).

Архитектура и технологический стек

Бэкенд — FastAPI с асинхронным воркером задач, прогрессом в реальном времени через Server-Sent Events и хранилищем на SQLite. Задача проходит такие шаги:

1. Скачать видео через yt-dlp.
2. Извлечь аудио с помощью FFmpeg.
3. Выбрать ключевые кадры с таймкодами.
4. Расшифровать аудио через Whisper-large-v3.
5. Прочитать слайды с помощью Qwen2.5-VL.
6. Получить от Gemma JSON строго по схеме при температуре 0.
7. Доработать конспект: убрать дубли терминов, упорядочить и перенумеровать разделы по таймкодам и вычислить длительность лекции.

Оба этапа восприятия — расшифровка и чтение слайдов — рассчитаны на GPU AMD Instinct MI300X через ROCm.

Как и в RecipeReel, каждый этап — подключаемый провайдер с мок-реализацией. Этап сведения работает через OpenAI API, поэтому без изменений в коде его можно направить на Gemma в Google AI Studio, модель на Fireworks AI или Gemma, развёрнутую через vLLM на железе AMD. В режиме моков весь пайплайн работает офлайн на встроенной лекции о фотосинтезе — так же запускается и набор из 11 тестов. В комплекте — облегчённый Dockerfile и Dockerfile для ROCm.

Что мы сделали

За один день мы собрали на общем пайплайне версию «видеолекция → конспект». В неё вошли модель данных урока (ключевые термины, разделы, источники и вопросы для самопроверки), переписанные промпты, экспорт в LearningResource, тестовые лекции, тесты и упаковка в Docker. Поскольку почти всё у неё общее с RecipeReel, основные силы на демо и деплой ушли в кулинарный продукт.

Смежные работы

LectureLoom — часть нашей работы по внедрению ИИ и автоматизации. Полноценный образовательный продукт — в кейсе ИИ-генератор курсов BiliMind. Другие проекты с того же хакатона — Legible, Testify и Keystone.