Роботы, работающие в неструктурированной среде, должны обладать способностью распознавать новые, ранее не встречавшиеся объекты. В данной работе визуальная подсказка используется для указания целевого объекта, который робот должен найти в новом окружении. Для решения этой задачи применяется сквозная нейросетевая архитектура на базе сиамской сети, которая обучается интерпретировать подсказку и локализовать предмет. Эксперименты подтвердили, что симулированный робот успешно справляется с перемещением объектов, на которые указывает лазерный маркер.
Исследование предлагает метод локализации новых, ранее неизвестных объектов для роботов, работающих в неструктурированной среде. С помощью сиамских нейросетей система учится распознавать цель по одной визуальной подсказке и находить её в новом окружении. Это значительно расширяет возможности автономных роботов, позволяя им мгновенно адаптироваться к незнакомым предметам.