Проект «Автомонтаж»

 806

Руководитель группы разработки: Кирилл Беляевский.

Научная группа: более 10 сотрудников (программисты-разработчики, режиссеры, монтажеры и операторы).


Проблема

Основной проблемой при подготовке видео-лекций является видео-монтаж, требующий тщательной подготовки, планирования и временных затрат профессиональных операторов и монтажеров.


До обработки Работа подсистемы "Автослайд"

 Цель

Разработка комплекса программ, позволяющих значительно снизить временные затраты на обработку видео-лекций за счет нейросетевой оцифровки опыта операторов и монтажеров, распознавания медиа-объектов в кадре (например, слайды презентации), выполнения постобработки видео-лекций, автоматической смены ракурса на видео.


Описание

Автоматизированное программное средство для повышения успешности проведения видео-монтажа с камер сверхвысокого разрешения, выполнения различных операций с видеоматериалом, применения спецэффектов, выполнения анализа видеоматериала в режиме реального времени, обеспечивающее снижение затрат времени на обработку видеоматериала.

Разработанный комплекс алгоритмов и программных средств предназначен для создания образовательного контента. Основными требованиями разрабатываемого комплекса  является низкая стоимость, скорость обработки и повышение качества образовательного контента. Оцифровка опыта лучших операторов и монтажеров позволяет существенно сократить скорость обработки видео, а также повысить уровень качества подготовленных образовательных курсов с использованием автоматизированных систем монтажа, что обеспечит работу систем в режиме "без специалиста".

Автоматизированная система "Автомонтаж" состоит из нескольких подсистем:

  • "Автослайд";
  • "Автооператор".

На данный момент завершена разработка подсистемы автоматического монтажа видео-лекций со слайдами презентаций «Автослайд».


Решаемые задачи

  • Обнаружение и замена в видео-потоке слайдов на презентационные в высоком качестве;
  • Выделение (детектирование) лектора в видео-потоке;
  • Предоставление web-интерфейса для загрузки и обработки видеолекций.

 


Функциональные требования

  • Загрузка и синхронизация видео-данных с камер сверхвысокого разрешения;
  • Предобработка видео-данных с целью повышения качества, корректировки цветовых моделей и моделей освещенности;
  • Выбор и загрузка сценария обработки на основе оцифрованного опыта съёмки аналогичных лекций;
  • Расчет и реализация функций приближения и обрезки для эмуляции работы оператора;
  • Выполнение обработки видео-потока с целью обнаружения, локализации, распознавания и классификации элементов в кадре (лектор, доска, слайды, зрители);
  • Удаление малоинформативных элементов сцены;
  • Выполнение смены ракурса и выбранного базового объекта для отслеживания на последовательности кадров;
  • Временная синхронизация видео-потока с презентационными материалами;
  • Автоматическая компоновка элементов в кадре;
  • Сохранение видео в заданных форматах.

Сотрудничество

ООО "Лекториум" – национальный лидер в производстве образовательного видеоконтента и разработка дистанционных образовательных онлайн-курсов.

ФСИ - Фонд содействия развитию малых форм предприятий в научно-технической сфере.


Применённые компетенции

  • Разработка прикладного ПО;
  • Обучение, применение и дистрибуция моделей нейронных сетей;
  • Разработка алгоритмов компьютерного зрения.

Применённые технологии

Языки программирования и фреймворки

С++, 
Qt, OpenCV, ffmpeg, RabbitMQ AMQP

Web языки и технологии

php, javascript, css, RabbitMQ

OS

 linux

Архитектуры

 x86

CVS

 git (GitLab)

СУБД/БД

 MariaDB

IDE

 Qt Creator

Реверс инжиниринг

 Adobe Premiere project file


Публикации

[В печати] Aleksei M. Gintciak, Dmitriy S. Barinov, Nikolay A. Abramov, Anna V. Nikitina, Olga V. Rostova, Yakov M. Somov. Video lectures preparation algorithms and software AutoSlide development. // Proceedings of the XXI International Conference of Soft Computing and Measurements SCM’2018.

[В печати] Aleksei M. Gintciak, Kirill O. Beliaevskii, Mariya A. Fomina, Alexandra V. Loginova, Yakov M. Somov. Video lections intellectual analysis software module development. // Proceedings of the IEEE Conference of Data Science: Challenges of Digital Transformation 2018.