История с написанным нейросетью ChatGPT дипломом показала несовершенство подхода к аттестации студентов
Нейродиплом
В начале февраля стало известно, что студент РГГУ Александр Жадан относительно успешно защитил диплом, написанный нейросетью ChatGPT – выпускник получил оценку «удовлетворительно». В течение нескольких лет учебы он не выделялся особыми академическими успехами, однако курсовые и другие задания сдавал самостоятельно. Но к написанию дипломной работы молодой человек решил подойти несколько иным образом, поделившись опытом в своем микроблоге в Twitter. Как подчеркнул Жадан, он уже работает по специальности, поэтому диплом ему не так и нужен.
ChatGPT, принадлежашая американской компании OpenAI, представляет собой нейросеть, которая способна генерировать тексты таким образом, что их очень трудно отличить от написанных человеком. Жадан убедился в этом на практике при написании дипломной работы на тему Анализ и совершенствование управления игровой организацией».
Алгоритм успеха
Студент начал с составления плана по нужной теме, направив в ChatGPT соответствующий запрос. Полученный результат он отправил научному руководителю, в ответ получив методичку с критериями, которые должны быть учтены при написании дипломной работы: это определенная структура материала, наличие списка литературы, выводы к каждой главе, объем не менее 60 страниц и уникальность текста не ниже 70%. Жадан загрузил в нейросеть методичку и запросил сервис об адаптации предыдущего плана. Но искусственный интеллект здесь не преуспел, и в результате научный руководитель сама прислала подходящий вариант плана работы, предварительно отклонив несколько предложенных нейросетью.
Далее Жадан дал ChatGPT команду о создании текста введения на основе плана и данных методички, несколько раз попросив расширить его и добавить список литературы.
Попутно выяснилось, что ChatGPT работает эффективнее, если запросы делать по-английски. Получить русский текст ему помог переводчик «Яндекса». Действуя по этой схеме, молодой человек написал всю работу. Правда, с практической частью тоже пришлось проявить изобретательность.
Объектом изучения в дипломной работе Жадана была малоизвестная компания, и нейросети негде было бы взять информацию для выполнения практической части – второй и третьей глав. Но студент придумал, как решить проблему. Ему удалось найти похожую работу в сети, правда, исследовалась там работа мясокомбината. Подредактировав текст, Жадан залил его в ChatGPT, попросив нейросеть переделать его. Дальше в ход пошла уже обкатанная схема – перевод с английского и последующая редактура. Оставшиеся части диплома создавались по аналогичному принципу. От себя выпускник вносил лишь мелкие правки.
На «троечку»
На первую версию дипломной работы студент потратил всего 11 часов. После проверки научный руководитель вернула текст с небольшими исправлениями. Внесение коррективов заняло еще примерно шесть часов, и диплом был готов. Проверка через сервис «Антиплагиат» показала, что уникальность работы составляет 82% – очень неплохой результат.
Жадан пришел с готовой работой на защиту. Неизвестно, на какую оценку он рассчитывал, но, как бы там ни было, студент сознательно решил использовать дипломную работу, написанную нейросетью, не пожелав принять в процессе более выраженное участие.
Сначала комиссия обратила внимание на многочисленные англоязычные источники, однако никто не усомнился в авторстве студента – на это указывала как минимум высокая уникальность текста. Но более детальный разбор вызвал вопросы относительно корректности написания диплома. В итоге Жадан получил «тройку», однако посчитал, что сам виноват в таком исходе, и оценка была бы выше, если бы он лучше настроил алгоритмы. Впрочем, повторять его эксперимент выпускник не рекомендует. По его словам, нейросеть – это в первую очередь не способ получить оценку без лишних усилий, а новые возможности для обучения, а также шанс оптимизировать процесс написания студенческих работ, выполнить их быстрее и эффективнее. Конечно, при условии, что учащийся включает голову, а не просто присваивает себе откровенно сырой текст, сгенерированный нейросетью.
Судя по посту в соцсетях, сам выпускник очень доволен результатом своей работы, и защитить дипломную работу, по его выражению, оказалось «ненапряжно и прикольно».
Проверка на прочность
До Жадана никто еще не делал ничего подобного, по крайней мере, в России на защите дипломной работы, поэтому не совсем понятно, стоит ли считать подобный подход к ее написанию нарушением. С одной стороны, студент не пошел традиционным путем, в отличие от тех, кто тратит на весь процесс недели и даже месяцы, а написал алгоритм и воспользовался продуктом деятельности нейросети. С другой – он не купил дипломную работу, как это, опять же, зачастую делают выпускники, не желая вдумываться в ее содержание. А ведь для написания алгоритма ему нужно было как минимум разбираться в предмете и примерно понимать, что должно получиться на выходе. Формально Жадан не нарушил никаких правил, а значит, повода для аннулирования результатов защиты диплома у вуза нет.
В РГГУ отреагировали на инцидент предложением ограничить доступ к чат-боту ChatGPT в образовательных организациях. В вузе посчитали, что подобная практика может негативным образом отразиться на процессе обучения. В университете предложили разработать инструменты, позволяющие распознавать использование нейросетей при написании письменных работ, а также увеличить число оригинальных кейсов, которые могут быть выполнены исключительно самостоятельно.
У главы Минобрнауки Валерия Фалькова свое видение на этот счет. По его мнению, наказывать выпускника не за что. Вместо этого, как полагает министр, вузам необходимо пересмотреть подход к проверке знаний у студентов.
Валерий Фальков: «Он просто проверил систему на прочность, на мой взгляд. Это первый момент. А второй очень важный момент: вот такого рода ситуации, случающиеся внезапно, хотя вроде бы об искусственном интеллекте, о нейросети и о ее возможностях известно давно, показывают, что университетам надо перестраиваться. Как минимум, наталкивает на мысль, что надо менять подход к заданиям».
Подобная позиция выглядит справедливой, ведь технологии, в том числе и применимые к образованию, не стоят на месте, а систему оценивания знаний у студентов с полным правом можно считать закосневшей. Ведь сейчас, когда в интернете можно найти все что угодно, вряд ли есть смысл говорить о ценности таких форм проверки знаний как рефераты, эссе, курсовые и прочие письменные работы – ведь сейчас для их написания нужно куда меньше времени и усилий, чем, скажем, 30 лет назад. Целесообразнее всего было бы добавить больше заданий, связанных с практической демонстрацией полученных компетенций, особенно в случае со студентами технических специальностей.
Эссе, экзамен и собеседование
В прошлом веке писатели-фантасты часто предсказывали, что роботы и искусственный интеллект смогут в будущем заменить людей, и из-за этого исчезнут многие профессии. Правда, обычно они имели в виду те виды деятельности, которые сопряжены с рутинными операциями или требуют больших физических усилий. По факту все пока оказывается наоборот. Нейросети рисуют картины, пишут статьи и новости, создают дизайны интерьеров и так далее. Не далее как на этой неделе в Google провели эксперимент, в ходе которого выяснилось, что навыков нейросети ChatGPT достаточно для успешного прохождения собеседования в IT-корпорации на позицию программиста третьего уровня с зарплатой около 13 миллионов рублей в год. Правда, разработчики ChatGPT утверждают, что программиста-человека сеть не заменит, так как не располагает критическим мышлением и креативностью.
Кроме того, недавно выяснилось, что ChatGPT в состоянии набрать минимальный проходной балл для получения медицинской лицензии в США, сдав экзамены USMLE по вопросам от биохимии до биоэтики и диагностики.
Также стало известно, что у Александра Жадана есть предшественник из Англии. Студенту нужно было написать эссе на тему социальной политики на 2000 слов, и он поручил выполнение этой задачи ChatGpt. На выполнение работы ушло 20 минут. Правда, для этого учащемуся пришлось задать нейросети десять отдельных вопросов по теме работы. Преподавателю эссе не понравилось – они посчитал, что в сочинении многовато «воды» и отсутствует конкретика, однако в целом эту работу можно считать «не самой ужасной».
Просмотров: 4577