Сегодня - 15.11.2018

За глаза

16 июля 2014
 
Аспиранты Алексей Васильевич Забайкин (Институт вычислительных технологий СО РАН) и Евгений Дмитриевич Булушев (Институт автоматики и электрометрии СО РАН) создают устройство, которое за счёт обработки и анализа 3D-данных сканирования окружающего пространства позволит осуществлять локальную навигацию роботов, а также слабовидящих людей.
Алексей Забайкин и Евгений Булушев
Толчком к возникновению этой идеи послужил выпущенный в 2009 году компанией Microsoft сенсор Kinect. Изначально прибор был предназначен для игровой приставки Xbox 360. За счёт своей способности выполнять трёхмерное распознавание движений тела и мимики, он даёт возможность пользователю взаимодействовать с компьютером без клавиатуры и мышки. На его основе появилось множество приложений, например, для фитнеса — человек отжимается перед экраном, а программа отслеживает, правильно ли он это делает, и ведёт счёт. В 2011 году Microsoft выпустил версию Kinect для операционной системы Windows и комплект средств разработки.
 
По сути, появление такого сенсора открывает возможности для куда более сложных и серьёзных применений. Этому во многом способствует то, что компания  Microsoft позволяет использовать его для создания своих продуктов и последующей их продажи. Алексей Забайкин и Евгений Булушев решили с помощью Kinect подарить «зрение» роботам и помочь передвигаться и ориентироваться в окружающем пространстве слепым и слабовидящим. Примечательно, что ребята делают это в свободное от основной работы время. «Создание алгоритмов сенсора для нас не столько хобби, сколько научный интерес. Мы бы хотели заниматься этим профессионально, но пока нет возможности. В Академгородке практически никто такие задачи не решает», — объясняет Евгений.
 
В общем виде устройство для слабовидящих будет выглядеть так: 3D-видеосенсор типа Kinect, ноутбук или планшет для обработки данных, аккумулятор и специальные средства взаимодействия с пользователем. «Обязательно наличие аудионаушника, сообщающего общие вещи, навигационную информацию (например, улицу, дом, текущий этаж в здании, направление движения), а также сведения о найденном объекте (о том, что в пяти метрах находится стул). Управлять прибором предполагается с помощью голосовых команд. Прикрепляться основной сканер будет либо на пояс, либо на шлем (если в будущем времени создадут более миниатюрные3D-видеосенсоры). Наиболее важную информацию — например, о ближайших препятствиях — планируется передавать тактильно, через кожу или даже язык», — рассказывает Алексей Забайкин. Для этого используется специальная пластинка-матрица с 8 датчиками по горизонтали и 8 по вертикали, в разные отделения которой время от времени поступает энергетический сигнал (по сути — легчайший удар током). По месту покалывания можно определить, насколько далеко и с какой стороны (например, сверху — на приличном расстоянии, снизу — близко, слева, справа) находится препятствие. Эксперименты показали, что человек к этому устройству привыкает очень быстро — мозг учится обрабатывать сигналы буквально в течение дня. «Конечно, вербальный способ передачи сообщений наиболее прост, однако, здесь существует проблема: зачастую у слабовидящих слишком острый слух (природа компенсирует недостаток зрения), поэтому эксперты советуют не перегружать их аудиоканал, а попробовать задействовать какой-либо другой орган чувств», — объясняет Евгений Булушев.
 

Сам сканер Kinect функционирует следующим образом: инфракрасный проектор освещает объекты окружающего пространства сложным точечным шаблоном, который искажается на них, отражается и затем фиксируется инфракрасной видеокамерой. Дальше по величине искажений с помощью специальных алгоритмов можно восстановить расстояние. «Однако на данном этапе это — лишь облако точек, в котором необходимо выделять людей, предметы, препятствия. Поскольку все датчики имеют погрешность и ложные срабатывания, сначала производится предобработка информации. Затем находятся области с одинаковой структурой, — рассказывает Алексей. — Рассмотрим простой пример: мы вошли в комнату, в которой стоит стул. Изначально для компьютера всё будет единым целым. Но после сегментации мы сможем выделить плоскую область — пол, сказать, что это подложка, и на ней расположен какой-то предмет. Затем подключается модуль анализа объектов и определяет: стул ли находится перед нами или диван».
 
 
Обычные видеокамеры, получающие двухмерное изображение, не позволяют решать таких задач. «С помощью 2D сложно определить расстояние до объекта. Здесь есть перспектива, но нет объёма. Например, чёрный стул и чёрный пол по яркости сливаются, и если смотреть издалека, система не сможет их различать, — объясняет Евгений Булушев. — Даже найти вход в помещение не так-то легко. Обычная видеокамера выделяет только тёмный прямоугольник на фоне светлого, но когда есть 3D-сенсор, он показывает, что до этой точки расстояние 2 метра, а до той — бесконечность. Если обработать данные, то можно сказать: здесь с большой вероятностью находится вход».
 

Ограничения 2Dвидеокамеры позволяют создавать оптические иллюзии. Например, когда снимали фильм про Кинг-Конга, для декорации использовали маленькие модели домов, которые смотрелись в кадре, как настоящие.


 

К слову, зрение человека тоже функционирует в формате 3D, при этом каждый глаз регистрирует своё 2D изображение, затем в мозгу они совмещаются, за счёт чего мы способны правильно определять расстояния до объектов (сделать это будет значительно сложнее, если одно веко закрыть и ходить так длительное время). 
 
Непосредственно сам сенсор Kinect и его программные модули ориентированы на распознавание движений, положения человека в пространстве и мимики, другие объекты не выделяются. Поэтому новосибирским учёным в их проекте необходимо самим реализовать недостающие алгоритмы. «Microsoft предоставляет базовые методы предобработки информации. Мы же хотим сделать их более высокоуровневыми, поэтому сейчас сосредоточились на создании программного обеспечения, — рассказывает Алексей. — В первую очередь необходимо научить систему выделять объекты на 3D-изображениях. Следующая задача — это распознавание типа препятствий и окружающих предметов: столов, стульев, стен, дверей, шкафов, холодильников, диванов, лестниц и так далее». Как раз этим прибор для навигации слабовидящих будет отличаться от всех имеющихся на сегодняшний день аналогов. Также очень важно создать правильный алгоритм обучения. Например, системе показывают много разных стульев, и на основании этого она определяет общие характеристики объектов данного типа (допустим, наличие спинки, сиденья и четырех ножек). Если программа усвоила информацию неправильно или обучающая выборка недостаточно репрезентативна, то система может посчитать, что отличительный признак стула — чёрный цвет.
 
Поскольку для того, чтобы создать продукт, пригодный к медицинскому применению, предстоит пройти ещё множество этапов (включающих не только написание алгоритмов, но и взаимодействие с медиками), изначально предполагается опробовать прибор на роботах. Например, можно научить механизм приносить вам пиво: чтобы он сам принимал заказ, доезжал до холодильника, находил там бутылку, возвращался с ней к хозяину. «По идее, взяв робота, умеющего перемещаться в пространстве, и использовав MicrosoftKinect или любой аналогичный сенсор для локальной навигации, а также разрабатываемые нами программные модули, можно так сделать. На первый взгляд, кажется, что это — довольно бесполезная затея, но с другой стороны, созданные алгоритмы затем подойдут для применения в более серьезных задачах», — утверждает Евгений. «С людьми работать сложнее, потому что необходимо создать удобный для них прибор, проводить доклинические и клинические испытания. Пока мы этим не занимаемся. Но если найдётся компания, которая заинтересуется развитием нашего проекта и поможет с решением как технических трудностей, так и проблем с внедрением, то можно будет попробовать», — считает Алексей.
 

Недостаток Kinect в том, что он видит на расстоянии максимум 8 метров, то есть, по сути, подходит только для использования в помещениях.


 

В 2013 году со своей разработкой ребята выиграли грант мэрии Новосибирска, на который был приобретен сенсор Kinect и ещё несколько необходимых вещей. Для того чтобы развивать её дальше, нужно привлечь дополнительные средства.  «Одна из главных проблем в том, что проекты начинают финансироваться только после создания готового прототипа, который можно показать и дать потрогать инвестору, — объясняет Евгений. — Наша цель сейчас, прежде всего — сделать такой образец, способный решать задачи средней сложности: по крайней мере, по ходу движения определять препятствия, их размеры, и, желательно, вид. На прототип можно найти деньги у государства (для этого существуют различные гранты,  стартап-конференции). Мы получили определённое финансирование на этапе идеи, что уже редкость. Далее нам дадут деньги, только если на её основе будет создано уже готовое устройство, поэтому мы продолжаем заниматься этим в свободное время и на собственные средства». 
 
«Для доведения прибора до коммерческого использования потребуется много времени, большую часть из которого необходимо будет создавать, тестировать и оптимизировать программное обеспечение», — рассказывает Алексей. На данный момент алгоритмов обработки и анализа данных, получаемых с помощью 3D-видеосенсора, существует немного. Это направление ещё недостаточно развито, поскольку дешёвые сенсоры появились относительно недавно, а дорогие, более мощные, даже не все лаборатории могут себе позволить. Но с другой стороны — есть, куда двигаться. Сами производители постоянно улучшают свою продукцию — уменьшают в размерах, повышают разрешение камеры и быстродействие, создают новые алгоритмы предобработки данных. «Можно надеяться, что если у нас по техническим причинам не получается справиться с какой-то задачей сейчас, то с усовершенствованием прибора мы будем оперировать более качественной информацией, которая позволит найти решение», — считает Евгений.
 
Диана Хомякова
 
Фото предоставлены исследователями
 
Ваша оценка: Нет Средняя: 5 (3 votes)
Поделись с друзьями: 
 

comments powered by HyperComments

Система Orphus