МЕТОД ГРАФОВОГО ЗЛИТТЯ МУЛЬТИМОДАЛЬНИХ ДАНИХ З ВИКОРИСТАННЯМ БАГАТОЗАДАЧНОГО НАВЧАННЯ

Анотація

У реальних умовах дані зазвичай містять декілька модальностей та можуть мати неексклюзивні мітки.
Ключовим етапом мультимодального навчання є процес злиття мультимодальної інформації, оскільки він
забезпечує об’єднання ознак з різних джерел у спільний векторний простір. Це дає змогу класифікатору
використовувати сформований інтегрований вектор для отримання кінцевого прогнозу. Водночас традиційні
методи мультимодального злиття рідко беруть до уваги міжмодальні взаємодії, які відіграють важливу роль у
виявленні залежностей між модальностями та побудові єдиного простору їх інтеграційного представлення.
У цій роботі запропоновано метод графового злиття мультимодальних даних з використанням
багатозадачного навчання. Він спрямований на формування спільного простору інтеграційного представлення
для всіх міжмодальних взаємодій та на адаптивне налаштування функцій втрат окремих завдань з метою
досягнення оптимальних показників ефективності обробки мультимодальних даних. Розроблений метод
використовує вдосконалену графову мережу мультимодального злиття, яка враховує міжмодальні взаємодії
між усіма комбінаціями модальностей та динамічно розподіляє вагові коефіцієнти для кожної пари
модальностей залежно від конкретного зразка даних. Крім того, впроваджено новий підхід багатозадачного
навчання для розв’язання проблем багатомітковості шляхом автоматичного регулювання процесу навчання, як
на рівні завдань, так і на рівні окремих зразків.
Експериментальні результати засвідчують, що запропонований метод перевищує ефективність базових
моделей та окремих сучасних методів. Також продемонстровано гнучкість і модульність запропонованих
компонентів мультимодального злиття та динамічного багатозадачного навчання, що дозволяє інтегрувати їх
у різні типи нейронних мереж.