Виртуальная учебно-проектная арт-лаборатория и выставочное пространство
Виртуальная арт-лаборатория и выставочный зал с возможностью взаимодействия с экспонатами
Задача
В 2022 году в СПбПУ в рамках стратегического организационного проекта «Технополис «Политех» программы «Приоритет-2030» началась реализация проекта «SmArt пространство инновационного многопрофильного университета (SmArt Campus)», который ведет инициативная группа Гуманитарного института.
Междисциплинарный проект SmArt Campus нацелен на креативное расширение пространства кампуса и городской среды за счет цифровых технологий на основе взаимопроникновения искусства, образования и науки.
Одним из мероприятий SmArt Campus является создание в университете проектно-учебной арт-лаборатории ArtPolyLab, как в физическом, так и в виртуальном виде. Она задумана как творческая мастерская для студентов Политеха, чьи проекты находятся на стыке современное искусства, образования и цифровых технологий, и в то же время будет служить выставочным пространством для работ студентов и преподавателей.
Реальные залы ArtPolyLab располагаются в 315 и 317 аудиториях 9-го корпуса Гуманитарного университета СПбПУ и будут открыты в феврале 2023 года.
Виртуальное пространство призвано дополнить и расширить экспозиционные и функциональные возможности арт-лаборатории. В нем планируется размещать 3D-модели экспонатов, которые невозможно или слишком сложно демонстрировать в физическом виде, в том числе и произведения современного медиаискусства. Виртуальная лаборатория должна стать одной из ключевых составляющих в апробации различных цифровых инструментов презентации и продвижения творчества студентов, проведения мастер классов и образовательных интенсивов.
Разработку приложения виртуальной лаборатории и его интеграцию на сайт СПбПУ ведет Лаборатория «Промышленные системы потоковой обработки данных» Центра НТИ СПбПУ, выступающая исполнителем по технической части.
Решение
Разработано цифровое 3D-пространство лаборатории и один из экспонатов, приложение интегрировано на сайт СПбПУ.
Интерьер ArtPolyLab создан с учетом исходных пространственных параметров и общего дизайна помещений арт-лаборатории в одном из корпусов Гуманитарного института СПбПУ.
Дизайн помещения арт-лаборатории, а также ее первый экспонат - футуристическая 3D-модель корпуса СПбПУ – выполнены разработчиками по проекту доцента кафедры общественных наук, заместителя директора Гуманитарного института СПбПУ И.В. Аладышкина.
На текущий момент разработана десктопная версия приложения. В течение 2023 года планируется завершить работу над браузерной и VR-версиями, чтобы упростить доступ пользователей в лабораторию и обеспечить возможность перемещаться по виртуальному помещению не только с помощью клавиатуры и мыши, но и с помощью VR-оборудования.
Детали
Разработка виртуального окружения
Виртуальное окружение полностью создавалось в среде разработки Unity. При разработке использовались как встроенные средства Unity – префабы, grid-система, источники света, виртуальная камера, компоненты постобработки, скайбоксы, - так и сторонние ассеты, например, ProBuilder.
Использование встроенных средств Unity совместно со сторонними подходящими ассетами позволяет создавать необходимые виртуальные сцены со сложной геометрией мэшей, с равномерным наложением текстур и требуемым наполнением 3D-моделями. А возможность рассчитывать освещение на этапе разработки позволяет приблизить графику к реалистичному отображению без потерь в произвольности во время исполнения программы, что особенно важно, так как данная лаборатория будет существовать как в Desktop варианте, так и в WebGL формате, что подразумевает отрисовку 3D-графики непосредственно в браузере.
Для большего погружения пользователя в приложение была разработана составная система звукового сопровождения, основанная на Unity AudioMixer. Для добавления эффекта присутствия в виртуальном помещении была настроена постобработка звука, имитирующая отражение звука от стен помещения.
Разработка программного модуля «Виртуальный пользователь»
Данный программный модуль отвечает за реализацию действий пользователя в приложении – движение, управление камерой, звуки взаимодействия и некоторая часть взаимодействия с интерактивными объектами.
При разработке логической составляющей модуля использован компонентный подход, позволяющий без особых затрат вносить новые изменения. Были разработаны компоненты, каждый из которых отвечает за конкретный аспект поведения пользователя.
Также у пользователя присутствуют физические и логические границы – коллайдеры, которые предотвращают перемещение пользователя сквозь объекты виртуального окружения.
Коллайдеры виртуального пользователя
Технологии
| Среда разработки 3D | Blender, Substance 3D Painter, Marmoset Toolbag |
| Среда разработки ПО | Unity, Visual Studio, JetBrains Rider |
| Языки программирования и фреймворки | С# |
РИД
Ключевые исполнители
- Руководитель проекта: Н.В. Чичерина, д.п.н., доцент, директор Гуманитарного института СПбПУ
- Координатор проекта: И.В. Аладышкин, к.и.н., доцент, заместитель директора Гуманитарного института СПбПУ
- Руководитель проекта по VR-разработке: М.В. Болсуновская, к.т.н., доцент Высшей школы интеллектуальных систем и технологий ИКНТ СПбПУ, заведующий Лабораторией «Промышленные системы потоковой обработки данных» Центра НТИ СПбПУ
- Team lead: программист Лаборатории «Промышленные системы потоковой обработки данных» Центра НТИ СПбПУ А.О. Купцов
Исполнители
- Гуманитарный институт СПбПУ
- Лаборатория «Промышленные системы потоковой обработки данных» Центра НТИ СПбПУ