Студенты исследовали разные подходы – метрический, машинный и глубокого обучения – к распознаванию дефектов и выявили, какой из них оптимален для разных производственных задач.
Сложность заключалась в том, чтобы научить нейронную сеть различать гниль и незрелость – на многих фото эти состояния выглядят похоже: и там, и там присутствуют зеленоватые или коричневатые оттенки.
«Мы использовали особую архитектуру триплетной сети, которая учитывает не просто пары изображений, а сразу несколько примеров – эталонный, положительный и два отрицательных. Это позволило создать более гибкие границы между классами и значительно снизить число ошибок», – пояснил руководитель проекта Егор Антонянц.
По оценкам авторов, разработка не требует огромного количества изображений и работает с обычными фото, сделанными при разном освещении и под разными углами. Нейросети тестировали на изображениях из открытых источников.
Проект находится на финальной стадии научно-исследовательского прототипа: все три архитектуры нейросетей (CNN, SNN и TNN) уже обучены, протестированы и показали высокую точность (до 93,6%) на выборке изображений.
«В планах команды адаптировать нейросети и интеллектуальную систему в целом для работы с видеопотоком с конвейерной ленты, чтобы тестировать его на реальных сельскохозяйственных продуктах в движении, а также расширить базу для обнаружения новых видов дефектов и культур. Пока что обучение и тестирование проводились на четырех конкретных видах продуктов: бананах, апельсинах, клубнике и томатах. В дальнейшем мы хотим привлечь партнеров из агропромышленного сектора для организации совместных испытаний системы на реальных производственных линиях», – рассказал Антонянц.
