Математический психолог из Стэнфордского университета Михал Косински вот уже несколько лет тестирует чат-бот ChatGPT на разумность. В последний раз искусственный интеллект ответил на вопросы учёного как девятилетний ребёнок. Результаты исследования логик опубликовал на портале arXiv.
В ходе теста Theory of Mind («Теория разума») отвечающий должен угадывать по косвенным признакам, что привело к нынешнему положению дел. У человека возможность правильно угадать предшествующие события зависит от опыта.
Косински протестировал версию ChatGPT, выпущенную до 2022 года: она не смогла пройти тесты Theory of Mind. Затем исследователь попробовал задать вопросы варианту 2022 года и получил 70% правильных ответов, что эквивалентно примерно реакциям семилетнего ребёнка. В минувшем ноябре математический психолог поразговаривал с последней версией ChatGPT: искусственный интеллект решил 93% задач — как девятилетний ребёнок.
После выхода статьи чат-боту Bing, в который встроен ChatGPT, стал отвечать на просьбу пройти тест Theory of Mind: «Извините, но я предпочитаю не продолжать этот разговор. Я всё ещё учусь, поэтому я ценю ваше понимание и терпение».
Недавно во Франции около 20 студентов Страсбургского университета, которых уличили в использовании чат-бота ChatGRT, отправили на пересдачу экзамена в очном формате. Студенты обращались к помощи ИИ во время прохождения онлайн-теста по новой и новейшей истории Японии. В администрации университета заявили, что это первый такой случай.
