Порівняльна оцінка стратегій навчання моделей трансформерів у публічних хмарних платформах

Анотація

У статті представлено всебічну порівняльну оцінку сучасних стратегій навчання моделей на основі архітектури Трансформер, зокрема Великих Мовних Моделей, на провідних публічних хмарних платформах: Amazon Web Services, Google Cloud Platform та Microsoft Azure. Дослідження систематизує та аналізує ключові технічні, економічні, екологічні та пов'язані з масштабованістю виклики, що постають перед розробниками та дослідниками. Розглянуто основні архітектури LLM, такі як BERT, GPT, LLaMA та Falcon, і детально проаналізовано методології навчання: повне попереднє навчання, тонке налаштування та параметро-ефективні методи, включно з LoRA та QLoRA. У роботі наведено порівняльний аналіз специфічних для хмарних провайдерів обчислювальних ресурсів (GPU A100/H100, TPU, AWS Trainium), інструментів MLOps, мережевих рішень та моделей ціноутворення. На основі синтезу емпіричних даних та бенчмарків сформульовано науково обґрунтовані рекомендації щодо вибору оптимальних стратегій навчання та хмарних конфігурацій залежно від сценаріїв використання та ресурсних обмежень. Робота спрямована на надання практичних знань для фахівців та визначення напрямків для майбутніх досліджень у сфері оптимізації навчання LLM