ChatGPT сдал экзамен по менеджменту, но по-прежнему плохо знает математику

ChatGPT только что сдал экзамен по менеджменту университетского уровня. Несмотря на некоторые удивительные ошибки в расчетах, искусственный интеллект прошел тест.

Кристиан Тервиш, профессор бизнеса в Уортонской школе бизнеса в Пенсильвании, хотел довести ChatGPT, интеллектуального чат-бота OpenAI, до предела. Чтобы проверить пределы возможностей искусственного интеллекта, университет решил устроить ему бизнес-экзамен. После сдачи этого экзамена студенты могут получить степень магистра делового администрирования (MBA). Это степень последипломного образования с перспективами трудоустройства в области маркетинга, финансов и управления человеческими ресурсами.

Профессор бизнеса послушно задал ChatGPT все вопросы на экзамене… и искусственный интеллект справился не так уж плохо. Согласно отчету, опубликованному Кристианом Тервишем, чат-бот «отлично справляется с основными вопросами по управлению операциями и анализу процессов, включая вопросы, основанные на тематических исследованиях».

«Не только ответы правильные, но и объяснения отличные«, — говорит Кристиан Тервиш в подробном отчете.

Имея доступ к огромной базе данных, искусственный интеллект смог сгенерировать подходящие ответы, несмотря на порой сложные высказывания. Чат-бот хорошо умеет агрегировать набор данных и составлять связное резюме. Следует отметить, что некоторые вопросы занимают несколько десятков строк и требуют специальных знаний. На некоторые из этих вопросов ChatGPT даже получил высший балл благодаря своим подробным и хорошо структурированным ответам.

В то же время, ChatGPT также допустил несколько серьезных ошибок в расчетах во время экзамена. В свете проницательных ответов ИИ, профессор Уортона был удивлен «удивительными ошибками в относительно простых вычислениях, на уровне математики 6-го класса». На первый взгляд, большинство математических операций выглядят логичными и правдоподобными. При ближайшем рассмотрении ошибки в рассуждениях становятся очевидными.

Кроме того, чат-бот был менее компетентен «в более сложных вопросах анализа процесса». Заявления о «технологических процессах с несколькими продуктами» и проблемы с «изменчивостью спроса» вызвали проблемы у ChatGPT. Проблемы с более сложными причинно-следственными связями также бросили вызов интеллекту чат-бота.

В рамках эксперимента профессор взял на себя смелость время от времени давать ChatGPT подсказки, как во время устного экзамена со студентом. Благодаря полученным подсказкам, ИИ быстро смог пересмотреть свою копию и исправить свои выкладки:

«В тех случаях, когда он изначально не смог сопоставить задачу с правильным методом решения, ChatGPT был способен исправить себя после получения соответствующей подсказки от эксперта-человека«.

Вывод Кристиана Тервиша подтверждает наше собственное мнение о ChatGPT. В своей нынешней итерации чат-бот OpenAI является ценным помощником, облегчающим выполнение определенных задач или позволяющим решить некоторые интеллектуальные проблемы. Однако он еще не является полной заменой человеческого интеллекта.

Как отмечает профессор бизнеса, ИИ способен быстро развиваться на основе подсказок. Вскоре после того, как потребовалась помощь в решении проблемы, ChatGPT мгновенно сгенерировал идеальный ответ, не нуждаясь в подсказке. В течение нескольких взаимодействий чат-бот мог бы эволюционировать:

«Либо он способен извлекать уроки из прошлых обменов, либо мне просто повезло«.

Проанализировав копию, возвращенную ChatGPT, профессор поставил ей оценку B. Благодаря этой оценке студент может избежать участия в курсе управления операциями, который обычно является обязательным в учреждении. Несмотря на ошибки, чат-бот продемонстрировал достаточное понимание материала. Поэтому он сдал экзамен, но без достижения впечатляющих результатов.

Кроме того, преподаватель получил удовольствие от разработки экзаменационных вопросов с помощью ChatGPT. И снова чат-бот оказался очень эффективным. Он даже включил в высказывания некоторые юмористические штрихи, как и подобает человеку.

Тем не менее Кристиан Тервиш выявил два пробела в запросах. По какой-то причине ChatGPT посчитал нужным включить в вопросы необязательную и анекдотическую информацию. Эти ненужные элементы могут запутать студента, перед которым стоит задача найти решение математической задачи. В других случаях ИИ упускает важную информацию. Де-факто, на эту проблему невозможно ответить. Опять же, операция требует контроля со стороны человеческого интеллекта.