Статья: ГИБРИДНЫЙ ПОДХОД К РАСПОЗНАВАНИЮДЕЙСТВИЙ ЧЕЛОВЕКАОПЕРАТОРА В КОЛЛАБОРАТИВНЫХ РОБОТИЗИРОВАННЫХ СРЕДАХ С ИСПОЛЬЗОВАНИЕМ БОЛЬШИХ ЯЗЫКОВЫХ МОДЕЛЕЙ И КОМПЬЮТЕРНОГО ЗРЕНИЯ

Скачать

Предложен гибридный подход по распознаванию действий человека-оператора в коллаборативных роботизированных средах, сочетающий методы компьютерного зрения и большие языковые модели. Разработана модифицированная метрика WSAA, позволяющая оценивать полученные результаты с учетом точности и адаптивности модели. Наилучшие результаты показала модель Llama3.2-Vision, продемонстрировав высокую точность распознавания и устойчивость к изменениям в условиях окружающей среды. Предложенный подход может быть применен для повышения эффективности взаимодействия человека и робота в промышленных условиях.