В ходе исследования было выявлено, что искусственный интеллект в виде чат-бота превзошел школьников по всем критериям, особенно в использовании языка.
Результаты подчеркнули значительный прогресс языковой модели ChatGPT. После неудачи версии 3.5 на баварском экзамене в начале 2023 года, ее последователь, версия 4, через полгода показала улучшение, получив оценку «хорошо».
Ученые провели эксперименты с обеими версиями модели, сопоставляя их с эссе, написанными студентами, по установленным Министерством образования Нижней Саксонии критериям.
Профессор Штеффен Хербольд, возглавляющий кафедру искусственного интеллекта в Университете Пассау и инициировавший исследование, выразил удивление ясностью результатов.
Обе версии чат-бота OpenAI показали более высокие результаты, чем школьники, и GPT-4 продемонстрировал лучшие показатели. «Это показывает, что школы не должны игнорировать эти новые инструменты», — подчеркнул Хербольд.