Стереокамера — это система из двух (иногда более) камер, разнесённых на некоторое расстояние, которая позволяет роботу оценивать глубину по двум изображениям. Принцип полностью повторяет бинокулярное зрение человека: каждый «глаз» видит сцену чуть под другим углом, и по разнице между двумя картинками восстанавливается расстояние до объектов. Одна обычная камера даёт плоское изображение и теряет информацию о глубине — две камеры её возвращают.
Работает стереозрение так: обе камеры одновременно снимают сцену, а алгоритм находит на снимках одни и те же точки и измеряет их смещение между кадрами (диспаритет). Чем ближе объект, тем сильнее он смещается от кадра к кадру; по величине смещения и известному расстоянию между камерами (базе) вычисляется дистанция до каждой точки. В итоге строится карта глубины всей сцены. Для точных измерений стереокамеру предварительно калибруют.
Что стереокамера даёт роботу:
- Оценку расстояния до объектов и их трёхмерного положения.
- Обнаружение и обход препятствий.
- Определение координат предмета для захвата манипулятором.
- Построение 3D-картины окружения для навигации.
Сильные стороны — это пассивный датчик (камеры не излучают ничего сами), поэтому стереопара хорошо работает на улице и при ярком свете, где ToF-камерам и лидарам трудно; вдобавок она даёт и цвет, и глубину, и высокую частоту кадров. Главный недостаток — стереозрению нужна текстура и контраст в сцене: на однородной гладкой стене без деталей алгоритму не за что «зацепиться», и глубина определяется плохо. Вычисления тоже довольно ресурсоёмки.
Стереокамеру относят к камерам глубины и часто сравнивают с ToF-камерой и лидаром. На практике выбор зависит от условий: стерео предпочтительнее на открытом воздухе и там, где важен цвет, а в бедной деталями или тёмной сцене её дополняют другими датчиками. Применяют стереокамеры в мобильных и сервисных роботах, беспилотном транспорте, дронах, а также в промышленных задачах вроде автоматической сборки и сбора урожая.
Источники:
- Машинное зрение и 3D-камеры глубины // Системы безопасности (Secuteck). URL:https://www.secuteck.ru/articles/mashinnoe-zrenie-i-3d-kamery-glubiny
- Стереозрение и карты глубины // Habr (SkillFactory). URL:https://habr.com/ru/company/skillfactory/blog/652599/
