Решение

Разработано методическое сопровождение проекта «Изображения Земли из космоса» для старших школьников в рамках конкурса «Космическая автоматическая идентификация объектов и искусственный интеллект» программы «Дежурный по планете», вся организационно-техническая работа проводилась также проектной группой Центра НТИ СПбПУ.

Школьники должны не только провести экологический мониторинг водных объектов, но и попробовать себя в роли разработчиков систем ИИ. Участники проектных групп смогут самостоятельно обучить нейронную сеть распознавать водоемы на фотографиях, а точнее - поработать вместе с программистами Политеха над разметкой изображений и созданием обучающей выборки. Для этого эксперты Политеха создали инструкцию по обучению нейросети на материале спутниковых снимков и проработали учебно-методические материалы. Для создания обучающей выборки используются изображения с космического аппарата Аист-2Д, предоставленные АО «РКЦ «Прогресс».

Также школьники смогут наблюдать за движением судов в акватории морей и океанов с помощью приемной станции сигналов Автоматической идентификационной системы, которая в режиме реального времени предоставляет информацию о судах в акватории Финского залива в районе Санкт-Петербурга. Приемная станция располагается на территории Санкт-Петербургского политехнического института Петра Великого.

Для демонстрации исходных и обработанных спутниковых снимков в декабре 2022 года было создано VR-приложение, и проект стал выглядеть по-настоящему захватывающе!

Детали

Методика обучения нейросети

Основываясь на размеченных изображениях, обучаемая нейросеть решает широкий спектр задач.

Обучающая выборка состоит из снимков с ультравысоким – в десятки тысяч пикселей – разрешением (например, размер в пикселях одного из изображений – 36 766 на 41 282). Изображения такого типа используются, чтобы добиться от нейросети максимальной точности при распознавании объектов на фото.

Для выборки отбираются фото регионов с различным типом рельефа местности, при отборе учитывается соотношение и конфигурация техногенных и природных пространств на фотографируемой поверхности.

Для непосредственной подготовки фотографий для размещения в выборке специалисты СПбПУ разработали оригинальную методику ручной разметки.

Все снимки, подлежащие разметке, просматриваются и обрабатываются в цветовом режиме «градации серого» – это позволяет воспринимать кадры быстрее и проще, снижая при этом вес изображения. Разметка производится ручным методом в растровом редакторе Adobe Photoshop с использованием графического планшета. Создается отдельный слой, соответствующий классу объекта, далее производится обводка объекта стилусом и заливка нужного участка. Согласно методике, при обводке объекта границы должны включать в себя пиксели, которые не менее, чем на 50% относятся к объекту выделения.

Методика создается на материале трех классов объектов, таких как водоёмы, реки и корабли. Они обладают достаточно специфичными свойствами, которые позволяют их идентифицировать – хорошо отличимы по цвету, имеют чёткие границы и характерную форму.

Далее слои выгружаются отдельными изображениями соответственно классу таким образом, чтобы объекты были выделены белым цветом на чёрном фоне, и в таком виде передаются для обучения нейронной сети.

Пример разметки класса «Лес»:

Снимок

Карта

Разметка

Previous Next

Автоматические идентификационные системы (АИС)

Для решения задачи наблюдения за движением судов по акватории морей и океанов используется комплекс программных и аппаратных решений, в том числе Автоматическая идентификационная система (АИС). Принимая сигналы кораблей, использующих данные глобальных навигационных спутниковых систем, АИС позволяет судам по всему миру безопасно маневрировать даже в самых загруженных акваториях путём обмена данными о своих характеристиках и положении.

Так, проектные команды конкурса «Космическая автоматическая идентификация объектов и искусственный интеллект» смогут также принять участие в экспериментах с симуляторами и реальными системами управления на беспилотных судах-катамаранах с возможностью управления, а также с системами автоматической идентификации судов (АИС) на базе малых космических аппаратов: с помощью АИС можно будет проследить путь беспилотного катамарана по акватории моря.

VR-сопровождение

VR-приложение к проекту представляет собой цифровое помещение в стиле sci-fi, в котором демонстрируются исходные и обработанные спутниковые снимки.

Разработка позволит молодым людям, которые заинтересованы в участии в высокотехнологичных проектах, самостоятельно протестировать приложение и при желании доработать его при поддержке кураторов Лаборатории «Промышленные системы потоковой обработки данных» Центра НТИ СПбПУ. Таким образом, в стек технологий проекта «Изображения Земли из космоса» добавились еще и технологии 3D-моделирования и построения систем виртуальной реальности.

Main menu interface

Глобус с открытыми областями просмотра

VR версия с расширенной системой управления

Previous Next

Использование VR-приложения вызывает массу положительных эмоций и, конечно, повышает интерес к проекту. Надевая VR-шлем, пользователь абстрагируется от внешнего мира, и все его внимание фокусируется на изучении материала.

Если у пользователей нет VR-комплекта, они могут использовать ПК-версию приложения с низкими системными требованиями и упрощенной системой ввода команд.

Создание пространства и других элементов окружения производилось в программе для создания трёхмерной компьютерной графики Blender. остальные элементы (освещение, аудиосопровождение, система взаимодействий) реализуются в среде разработки Unity с использованием языка программирования C#.

Технологии

РИД

Публикации