Розроблення та реалізація мультимодальної інтерпретованої системи «SafePlace» на основі правил для мультимодального об'єднання емоцій
Анотація
У цій статті представлено інтерпретовану систему розпізнавання емоцій, що базується на правилах та інтегрує текст, голос і відео. На відміну від нейромережевих підходів «чорної скрині», запропонований алгоритм злиття використовує явні правила, адаптивне зважування та працює за сталий час O(1). Архітектура системи включає 18 REST API ендпоінтів, JWT-автентифікацію з bcrypt-хешуванням (12 раундів) та нормалізовану базу даних із 9 таблиць. Для валідації використано експериментальний набір даних із 88 повідомлень (44 користувацьких, 44 відповіді AI). Результати підтверджують, що мультимодальний підхід підвищує точність класифікації емоційного стану на 17% порівняно з аналізом лише тексту та досягає виявлення 4 критичних випадків (9,1% від користувацьких повідомлень) без хибних спрацьовувань на цьому наборі. Усі дані, алгоритми та метрики є повністю відтворюваними з відкритої реалізації. Розроблена система призначена для автоматизованого аналізу емоційного забарвлення в інтерактивних комунікаційних платформах і може викорисоовуватись в локальних моделях ШІ
Посилання
2. A scoping review of large language models for generative tasks in mental health care - npj Digital Medicine. Nature. URL.
3. A survey on multimodal emotion recognition: methods, datasets, and future directions / M. A-Seong et al. Tech Science Press. URL.
4. Depressive disorder (depression). World Health Organization (WHO). URL.
5. Facial expression recognition (FER) survey: a vision, architectural elements, and future directions / S. Ullah et al. PeerJ. URL.
