Немецкие разработчики научили гуманоидного робота-помощника TIAGo самостоятельно искать путь к холодильнику, открывать его и приносить пиво. Модульный суперкомпьютер NVIDIA Jetson TX2, служащий зрительным центром робота, позволил ему не только эффективно проложить путь, но и найти пиво запрошенной марки по этикетке.
Проект подробно описан на сайте ChallengeRocket.
Осенью прошлого года компания NVIDIA запустила Jetson Developer Challenge — конкурс для инженеров, которым предлагается использовать набор для разработки с модульным суперкомпьютером NVIDIA Jetson TX2 для улучшения своих проектов. Среди призов — денежное вознаграждение, видеокарта NVIDIA TITAN Xp, обучающие курсы и поездка на компьютерную конференцию GTC 2018, которая состоится в Кремниевой долине в марте этого года.
Группа инженеров из Университета Кобленц-Ландау использовала Jetson TX2 в качестве зрительной системы робота TIAGo компании PAL Robotics. Суперкомпьютер помог роботу не только эффективно выстроить маршрут до холодильника и найти ручку для того, чтобы его открыть, но и выбрать пиво запрошенной марки. Этого удалось добиться благодаря алгоритму семантической сегментации, который выделяет объекты (в данном случае — продукты в холодильнике) на общем фоне и классифицирует их по форме, выделяя нужные (пивные бутылки и банки). Для обучения хватило всего лишь 60 изображений бутылок на 20 различных фонах.
В итоге TIAGo смог правильно выбрать нужное пиво, а затем — принести и подать ее одной из разработчиков. При этом робот смог закрыть холодильник, несмотря на то, что у него всего одна рука, занятая банкой пива.
