Отладочная плата разработки ML-приложений для микроконтроллеров на базе ESP32-C3 и ESP32-S3

Быстрый старт разработки приложений с использованием нейросетей

Отладочная плата на базе AI-модуля ESP32-С3 с предустановленными нейронными сетями и процессора ESP32-S3 для пользовательских приложений.

∙ Попробовать нейросети

Опробовать готовые, настроенные нейросети, работающие на «сопроцессоре» (AI-Модуль)

∙ Оценить выгоды

На представленных примерах оценить выгоды и способы применения нейросетей

∙ Разработать своё устройство

Разработать, протестировать и отладить прототип целевого устройства

AI-модуль

Работа специально созданных для этих задач нейронных сетей происходит на микроконтроллере на входном потоке данных с датчиков.

Режим «обучение»:
- По команде оператора;
- Время не более 2 секунд.

Режим «классификация»:
- До 10 признаков, включая аномалию;
- Время не более 2 секунд.

Модуль приложения

Представляет пользовательский голосовой интерфейс с помощью нейронной сети:
- Распознаёт голосовые команды пользователя;
- Озвучивает состояние, режим работы, операцию, подтверждает команды пользователя.

Обеспечивает
- Управление датчиками;
- Управление потоком данных;
- "Пред" и "пост" обработку;
- API-взаимодействия с AI-модулем;
- Управление кнопками;
- Управление динамиком, микрофонами;
- Отображение на OLED-дисплее;
- Отображение с помощью светодиодов.

Сферы использования:

- Обучение студентов ИИ;
- Контроль состояния оборудования;
- Контроль работы роботов и станков
- Распознавание командных слов;

Рекомендуемые датчики:

- Вибрации;
- Микрофоны;
- Тока;
- Акселерометры;
- Температуры;
- Другие сенсоры, работающие на временном потоке данных.

Выгоды от использования

• Отсутствуют затраты на этапе разработки
  - На создание математических и статистических моделей;
  - На поиск оптимальной архитектуры нейросети;
  - На разметку сигнала, подготовку датасета;
  - На обучение модели в облаке;
• Снижены затраты на владение конечным решением за счет отсутствия расходов
  - На передачу данных в облако;
  - На хранение больших объемов данных;
  - На поддержание инфраструктуры обработки больших объемов данных.
• Создание автономных решений
  Низкие требования к производительности аппаратной платформы и энергопотреблению, а также отсутствие необходимости использования сетей передачи данных.
• Возможность использовать в системах реального времени
  Обработка происходит без передачи данных в облако за прогнозируемое время.
• Подстройка под оборудование
  Возможность создания решений с настройкой на конкретное оборудование в процессе работы за счет обучения на месте.
• Конфиденциальность и безопасность
  Данные обрабатываются прямо на устройстве и не передаются в облако

Примеры приложений

Плата поставляетя с примерами приложений, которые вы можете адаптировать и использовать в разработке собственных AI-устройств.

Определение режимов работы и аномалий работы вентилятора

Отладочная плата размещается на корпусе любого вентилятора; в реальном времени обрабатывает поток данных с акселерометра для запоминания и дальнейшего определения режимов работы вентилятора или нестандартного состояния (аномалии).

Ритм как цифровой ключ

Пользователь обучает плату своему ритму (постукиванием пальцем по корпусу платы). Ритм затем используется как персональный ключ.

Голосовой пин-код

Запоминает, а затем распознаёт 4 цифры пин-кода, произнесенные пользователем вслух.

Определение жестов

Для использования на движущихся механизмах по заданной траектории: промышленный манипулятор на ковейере, робо-рука. Размещается на корпусе манипулятора, запоминает «жесты», а затем, определяет его тип и сообщает об отклонениях.