Мультимодальная агентная платформа для цифрового садоводства: интеграция компьютерного зрения, больших языковых моделей и интернета вещей

Abstract

В статье представлена разработка мультимодальной агентной платформы для поддержки принятия решений в садоводстве, объединяющей методы компьютерного зрения (YOLO), большие языковые модели с механизмом дополненной генерации (RAG) и средства мониторинга данных с датчиков (MQTT, HTTP). Платформа предоставляет два интерфейса: Telegram-бот для оперативной работы в саду и веб-приложение для аналитики. Ядро системы включает локально развёрнутые модели DeepSeek-R1 (8B) и Qwen2.5-VL-7B-Instruct, векторную базу знаний ChromaDB, модули детекции и сегментации изображений, а также инструменты сравнительного тестирования и дообучения (QLoRA). Разработанная платформа может служить основой для автоматизированных рабочих мест агронома, систем дистанционной диагностики и раннего оповещения. The article presents the development of a multimodal agent platform for decision support in horticulture, combining computer vision methods (YOLO), large language models with retrieval-augmented generation (RAG), and data monitoring tools from sensors (MQTT, HTTP). The platform provides two interfaces: a Telegram bot for operational work in the orchard and a web application for analytics. The system core includes locally deployed DeepSeek-R1 (8B) and Qwen2.5-VL-7B-Instruct models, a vector knowledge base ChromaDB, image detection and segmentation modules, as well as tools for comparative testing and fine-tuning (QLoRA). The developed platform can serve as a basis for automated agronomist workstations, remote diagnostic systems, and early warning systems.