Дослідження технології генерації зображень за текстовим описои засобами дифузійної моделі Stable Diffusion

Анотація

У статті розглядаються результати дослідження технології генерації зображень на основі текстового опису із використанням дифузійної моделі Stable Diffusion. Було детально розглянуто принципи роботи механізму прямої та зворотної дифузії, який полягає у поступовому додаванні та видаленні шуму із зображень. Реалізацію здійснено з використанням мови програмування Python та бібліотек PyTorch і Hugging Face diffusers, що дозволило ефективно виконати генерацію зображень із заданих текстових запитів. Розроблено програмний модуль, який демонструє роботу архітектури Stable Diffusion. Модуль реалізує повний цикл генерації – від введення текстового запиту користувачем до отримання готового зображення. Для побудови системи використано компоненти U–Net, Variational Autoencoder (VAE) та текстовий енкодер CLIP. Створений модуль дозволяє задавати параметри генерації (кількість кроків дифузії, рівень впливу тексту, роздільну здатність тощо) і візуалізує отримані результати. Досліджено алгоритми прямої та зворотної дифузії, що лежать в основі роботи моделі. На основі експериментів виявлено, що зменшення кількості кроків дифузії зберігає якість зображення за умови правильного підбору коефіцієнтів шуму та параметра guidance scale. Також підтверджено, що використання латентного простору дозволяє суттєво зменшити обчислювальні витрати без втрати фотореалістичності результату