vak | 16 видео потоков на одном 10-ваттном процессоре

Есть у нас в офисе комната, где постоянно крутятся всякие демонстрашки способностей нашего хордвера и софта. Всякий может зайти, полюбоваться и позадавать вопросы. Вот скриншот, как в реальном времени обрабатывается 16 потоков с видео камер в разрешении 640×480, 30 кадров в секунду. Впараллель работают четыре модели, распознающие объекты или человеческие позы.

Каналы 1–4: YOLOv9s
Каналы 5–8: YOLOv8s-pose
Каналы 9–14: YOLOv8n
Каналы 15–16: YOLOv7n

Всё это на вот таком девайсе с чипом Modalix (PDF). Потребление 10 ватт.

Для чего это всё может применяться?

Робототехника и автоматизация – управление на основе восприятия в производстве, на складах или в логистике
Умные города и общественная безопасность – оптимизация дорожного движения, обнаружение угроз
Промышленный мониторинг – выявление аномалий, безопасность работников, предиктивное обслуживание на производстве
Розничная торговля – подсчёт посетителей, отслеживание времени пребывания, контроль полок
Гостиничный и ресторанный бизнес – мониторинг столов на предмет отсутствия гостей, пустых бокалов или длительного ожидания