Аналіз здатності засобів зі штучним інтелектом генерувати код в стилі студента і виявляти такий згенерований код

Ключові слова: засоби із штучним інтелектом, Copilot, ChatGPT, Gemini, програмування, код згенерований штучним інтелектом

Анотація

Відомо, що засоби зі штучним інтелектом (ЗШІ) можуть генерувати програмний код в різних стилях: загальному стилі, стилях інших ЗШІ, стилі викладача, стилі професійного розробника тощо. Але якщо студент-першокурсник в якості виконання завдання надає код, що був згенерований за допомогою ЗШІ в якомусь такому професійному стилі, то несамостійність виконання такої роботи достатньо легко визначається викладачем. В статті виконане дослідження можливості ЗШІ генерування коду в стилі «студент-першокурсник» і здатності ЗШІ визначати, що цей код був саме згенерований за допомогою ЗШІ, а не був насправді написаний студентом-першокурсником. Метою статті є дослідження, наскільки легко студент-першокурсник може маскувати використання ЗШІ при написанні програм мовою С за навчальними завданнями дисциплін першого курсу навчання. Це дослідження було проведене для коду, згенерованого в силі студента останніми безкоштовними версіями трьох ЗШІ, які є наразі одними з найпопулярніших та найбільш використаних студентами: ChatGPT, Copilot і Gemini. В результаті дослідження були встановлено, що ЗШІ ChatGPT, Copilot можуть достатньо добре маскувати свій код під код студента, а ЗШІ Gemini не впорався з цією задачею. В усякому випадку, це стосується програм, що написані мовою С за завданнями початкової складності першого курсу навчання. У висновках зроблені узагальнення результатів дослідження та рекомендації викладачам щодо використання досліджених ЗШІ. В якості напрямків подальших досліджень відзначено наступне. Оскільки потужність ЗШІ розвивається вибухово швидко, тому виглядає доцільним повторити дослідження цієї статті ще раз через рік-два. Ще одним напрямком можна запропонувати провести аналогічне дослідження при використанні інших мов програмування, а також при виконанні завдань інших дисциплін та/або більшої складності

Посилання

1. Dayu Yang, Tianyang Liu, Daoan Zhang, Antoine Simoulin, Xiaoyi Liu, Yuwei Cao, Zhaopu Teng, Xin Qian, Grey Yang, Jiebo Luo, and Julian McAuley, “ Code to Think, Think to Code: A Survey on Code-Enhanced Reasoning and Reasoning-Driven Code Intelligence in LLMs”, arXiv:2502.19411v1 [cs.CL] 26 Feb 2025.
2. Jiang, Fan Wang, Jiasi Shen, Sungju Kim, and Sunghun Kim, “A Survey on Large Language Models for Code Generation”, arXiv:2406.00515v2 [cs.CL] 10 Nov 2024. Available: https://arxiv.org/pdf/2406.00515. Accessed on: May 15, 2025.
3. Janek Bevendorff, Matti Wiegmann, Jussi Karlgren, Luise Dürlich, Evangelia Gogoulou, Aarne Talman, Efstathios Stamatatos, Martin Potthast, and Benno Stein, “Overview of the “Voight-Kampg” Generative AI Authorship Verification Task at PAN and ELOQUENT 2024”, Working Notes of the Conference and Labs of the Evaluation Forum (CLEF 2024), Grenoble, France, 9-12 September, 2024. pp. 2486-2506
4. Jijie Huang, Yang Chen, Man Luo, and Yonglan Li, “Generative AI Authorship Verification Of Tri-Sentence Analysis Base On The Bert Model”, Working Notes of the Conference and Labs of the Evaluation Forum (CLEF 2024), Grenoble, France, 9-12 September, 2024. pp. 2632-2637
5. Xuan Ji, “Detecting ai-generated code in C++: A comprehensive guide”, BytePlus, Apr 25, 2025.
Опубліковано
2025-06-16
Як цитувати
Марченко, О. І., & Марченко, О. О. (2025). Аналіз здатності засобів зі штучним інтелектом генерувати код в стилі студента і виявляти такий згенерований код. КОМП’ЮТЕРНО-ІНТЕГРОВАНІ ТЕХНОЛОГІЇ: ОСВІТА, НАУКА, ВИРОБНИЦТВО, (59), 183-193. https://doi.org/10.36910/6775-2524-0560-2025-59-24
Розділ
Інформатика та обчислювальна техніка