Методика поєднання псевдорозмітки та стискання моделей для оптимізації самонавчання в задачах ідентифікації об’єктів

Анотація

У даній науковій роботі розглядається комбінований підхід до оптимізації навчання за допомогою самонавчання моделей ідентифікації об’єктів, що інтегрує механізм псевдорозмітки з технікою стискання моделей шляхом дистиляції знань (knowledge distillation). Основна мета даного методу полягає в покращенні точності класифікації обʼєктів за умов обмеженої кількості маркованих даних та одночасному зниженні обчислювальних витрат, що пов’язані із навчанням глибоких нейронних мереж. Методика підходу передбачає автоматичне включення до навчального набору немаркованих зразків, для яких модель-вчитель демонструє високий рівень впевненості, з подальшим використанням цих зразків для навчання компактнішої моделі-студент. Навчання здійснюється із застосуванням «м’яких» ймовірнісних міток, що дозволяє моделі-вчителю краще засвоїти узагальнені знання. Експериментальні дослідження, проведені на наборах CIFAR-100 та ImageNet, показали, що даний запропонований підхід перевершує традиційні методи самонавчання за ключовими метриками, таким як accuracy, precision, recall, F1-score, та демонструє вищу стабільність і ефективність. Результати дослідження підтверджують потенціал комбінованого підходу для масштабованого застосування в реальних задачах комп’ютерного зору, зокрема в умовах нестачі маркованих даних або при розгортанні моделей на обмежених обчислювальних ресурсах. Додатковою перевагою є можливість зменшення частки помилкових псевдоміток завдяки застосуванню порогового контролю впевненості. Запропонована архітектура навчання також забезпечує кращу процес узагальнення результатів на нові вибірки. Отримані висновки можуть бути використані у наступних дослідженнях для подальшого вдосконалення методів навчання з частковою або нульовою анотацією.