Манипулятор с гиперспектральной камерой подводит объектив к листу куста томата, снимает, переходит к другой доле куста и снимает её

Phenobot

Многоракурсная спектральная съёмка растений для фенотипирования

Роботизированный комплекс для лабораторий, селекционных центров и исследовательских теплиц, сочетающий трёхмерную и спектральную съёмку. Реконструирует полную модель растения по облакам точек, накладывает спектральные данные и согласовывает с технологическими параметрами селекционных экспериментов.

Обсудить задачу →Пример внедрения

Задача

Сопоставимые наблюдения за растениями

Гиперспектральная съёмка чувствительна к точности и стабильности позиционирования камеры, что делает затруднительным регулярный сбор данных о состоянии растений. Phenobot осуществляет реконструкцию внешнего облика растения благодаря использованию камеры глубины, что позволяет обеспечить высокое качество снимков при продолжительной экспозиции.

Гибкая настройка эксперимента

Генотипы и воздействия, фенофазы, повторности, группировка. Схема опыта проверяется до первой съёмки.

Адаптивная съёмка

Специальный навык робота автоматически подбирает требуемое количество ракурсов для обеспечения наиболее точной реконструкции модели растения.

Поддержка спектральных данных

Спектральный куб 400–1000 нм, мультиспектр с RGB и тепловым каналом, карта глубины.

Пример внедрения

Лаборатория Сити-фермерства Ставропольского ГАУ

Поставка, сборка, монтаж, пуско-наладка и ввод в опытную эксплуатацию выполнены на площадке университета. В работах участвовали преподаватели и студенты: подготовка площадки, сопровождение испытаний, настройка рабочих мест.

Гиперспектральная камера с кольцевой подсветкой и камера глубины на фланце манипулятора xArm6 в лаборатории — **Оптика на фланце.** Гиперспектральная камера FS-IQ с кольцевой подсветкой, под ней RealSense D435.

Манипулятор xArm6 подводит камеру к кусту томата на стеллаже досвечивания — **Подвод к растению.** Объектив у верхнего листа куста на стеллаже

Ноутбук оператора: облако точек сцены и модель робота в RViz, рядом реальный манипулятор и растения — **Рабочее место оператора.** Интерфейс с облаком точек с камеры глубины и модель робота в одной сцене.

Комплекс состоит из манипулятора с датчиками (гиперспектральной и мультиспектральной камерами, камерой глубины), рабочих мест операторов и поста визуального контроля.

Гиперспектральная камера даёт спектральную подпись доли листа, мультиспектральная снимает то же место быстрее и с меньшим спектральным разрешением, тепловой канал добавляет температуру, а камеры глубины дают геометрию растения и опору при наведении. Потоки связаны общим временем и положением руки, поэтому данные одного сеанса обрабатываются как один замер.

Основной манипуляторUFactory xArm6

Вспомогательный манипуляторAgileX Piper

ГиперспектрFigSpec FS-IQ-VISNIR, 400–1000 нм, 1200 каналов

МультиспектрFigSpec FS-620: 4 канала + RGB + LWIR 8–14 мкм

ГлубинаIntel RealSense: 2 × D435, 2 × D405

СофтROS 2, rbs-runtime, rbs-teleop

Программа

Phenobot Studio

Программа для ведения селекционных опытов: от плана с генотипами и повторностями до пакета данных для R, Python или Excel. Роли две — администратор и оператор.

Экран обзора опыта: плитки показателей, карта стенда 4×6 со статусами растений, список требующих внимания, карточка текущего сеанса — **Обзор опыта.** Карта стенда четыре ряда по шесть позиций: у каждого растения статус контроля качества за сегодня. Справа растения, по которым нужно решение исследователя, и текущий сеанс.

Экран протокола съёмки: таблица ракурсов, набор признаков, расписание и история версий — **Протокол.** Ракурс задан числами: дистанция, азимут, угол места, выдержка. Рядом — оценка длительности цикла и разница с предыдущей версией.

Экран валидации признака: сравнение измерений робота с эталонными промерами, диаграмма рассеяния и остатки — **Сверка с ручными промерами.** Признак, снятый роботом, сравнивается с эталонными промерами: коэффициент корреляции, R², RMSE, MAE, систематическое смещение, график остатков.

Просмотрщик гиперспектрального куба: выбор канала, RGB-синтез, область интереса, спектр точки — **Гиперкуб.** Куб ENVI открывается по каналам, синтезируется в RGB и в индексы; область интереса обводится точкой, прямоугольником или полигоном, спектр строится по ней.

Экран экспорта: состав ZIP-пакета с таблицами наблюдений, дизайна, растений и признаков — **Выгрузка.** Один ZIP: длинная таблица наблюдений, дизайн опыта, растения, признаки, версии протоколов и манифест исходных файлов. Пакет открывается в R, Python или Excel без ручного переноса.

Расскажите о задаче

Если Вы заинтересованы в использовании подобной разработки, напишите нам.

Telegram@brylev Emailmovefasta@robossembler.org