Искусственный интеллект Claude успешно сдает экзамен по праву

«Полезный, безвредный и честный» — так описывает себя новая программа искусственного интеллекта (ИИ) компании Anthropic «Claude». Однако, как и ее родственник ChatGPT, эта программа уже начинает вызывать беспокойство у некоторых людей. В частности, он только что сдал экзамен по праву и экономике.

Довольно хороший ученик, этот Claude… Если исключить тот факт, что это не человек, конечно. Пока ИИ ChatGPT находился в центре внимания СМИ, он тихо готовился выйти на сцену в конце 2022 года. Разработанный компанией Anthropic, на первый взгляд он работает примерно так же, как ChatGPT от OpenAI. Все, что вам нужно сделать, это задать ему вопрос, и он начнет общаться и давать ответы. И эти ответы могут быть существенными!

Чтобы проверить его способности, исследователи попросили его ответить на вопросы экзамена по праву и экономике. Полученная по этому запросу копия была вслепую исправлена среди других копий в Университете Джорджа Мейсона. Ей удалось получить балл, который позволил сдать экзамен. Алекс Табаррок, профессор экономики, опубликовал один из ответов в своем блоге. «Самый впечатляющий«, — сказал он. Это был вопрос по праву интеллектуальной собственности. ИИ должен был выработать рекомендации по внесению изменений в закон. «В целом, цель должна заключаться в том, чтобы сделать законы об интеллектуальной собственности менее ограничительными и быстрее сделать больше произведений доступными для общественности«, — заключил Claude. «Но важно продолжать предоставлять стимулы и компенсации создателям в течение ограниченного периода времени».

Даже если этот профессор признал ответ «лучше, чем у многих людей», некоторые из них настроены более критично. Мы видим в комментариях к статье множество интернет-пользователей, которые отмечают, что ИИ сам себе противоречит в некоторых ответах. «Честно говоря, похоже, что Клод просто проглотил и вырвал отчет McKinsey (международная консалтинговая компания)«, — критикует также Financial Times.

Так что, Claude раздувает из мухи слона? Не обязательно. На самом деле, ученые разработали его с целью работы над идеей «конституционного ИИ». Вот где кроются основные успехи исследователей.

Итак, что такое конституционный ИИ и в чем его суть? «Часто лингвистические модели, обученные быть «безобидными», становятся бесполезными, когда сталкиваются с противоречивыми вопросами«, — пояснила компания. «Мы экспериментируем с методами обучения безобидного помощника ИИ путем самосовершенствования, без каких-либо человеческих меток, идентифицирующих вредный результат«, — объясняют они. «Процесс включает в себя как контролируемое обучение, так и этап обучения с подкреплением«.

Другими словами, этот ИИ сможет определять, когда высказывание является, например, дискриминационным, путем самообучения, следуя не придуманному человеком ярлыку, а широким принципам: «конституции», короче говоря. Помимо этой разницы, Claude является серьезным конкурентом ChatGPT. Компания Scale, которая занимается разработкой приложений на основе искусственного интеллекта, взялась протестировать их на тех же типах запросов. Среди прочего, было обнаружено, что Claude с большей вероятностью осознает, когда он неточен: с другой стороны, он менее хорош, чем ChatGPT, в написании компьютерного кода. Тем не менее оба ИИ по-прежнему демонстрируют слабые стороны, отвечая неправильно, а иногда даже выдумывая факты. ChatGPT, как и Claude, с трудом может кратко описать различные сезоны сериала «Остаться в живых», не выдумывая факты. Но разве можно их за это винить? «Похоже, что, как и у большинства людей, смотревших сериал, у ChatGPT и Claude память о сериале «Остаться в живых» в лучшем случае нечеткая«, — заключают тестеры Scale, не без некоторой доли юмора.