Методи розпізнавання та обробки зображень за допомогою зорового трансформера

Анотація

У цій роботі основна увага зосереджена на використанні можливостей Зорового Трансформера (ViT) як основи для досліджень розпізнавання та обробки зображень. Використання даної архітектури мотивується її вмінням моделювати довгострокові залежності, таким чином долаючи обмеження, пов’язані зі згортковими нейронними мережами (CNN), які обмежені локальними рецептивними полями. Не зважаючи на ефективність зорового трансформера у зборі глобальної  інформації, його виняткова залежність від таких даних є неоптимальною для сценаріїв із зображеннями з кількома мітками. Ці зображення за своєю суттю містять різноманітні об’єкти, що охоплюють різні категорії, масштаби та просторові відносини. У світлі цього дослідження визнається неефективність покладатися виключно на глобальну інформацію для ефективної обробки таких комплексних візуальних даних. Дослідження спрямоване на усунення цього обмеження шляхом дослідження стратегії, яка доповнює модель ViT додатковим механізмом, здатним включати контекстну інформацію, що стосується зображень із кількома мітками, завдяки інтеграції декількох многовидів та їх злиттю у єдиний многовид. Мета полягає в тому, щоб підвищити здатність моделі розрізняти та розпізнавати об’єкти, що характеризуються різноманітними атрибутами, розмірами та просторовим розташуванням. З’ясовуючи необхідність нюансованого підходу до вирішення проблем, пов’язаних із зображеннями з кількома мітками, це дослідження є спробою зробити внесок у поточний дискурс щодо вдосконалення методологій розпізнавання та обробки зображень. Дослідження стратегій доповнення ViT контекстно-залежними механізмами підкреслює прагнення до вдосконалення можливостей моделей на основі зору для більш надійних і універсальних застосувань у сфері комп’ютерного зору