Вы наверняка помните, как все восторгались возможностями ChatGPT, когда только появилась эта нейросеть. В сети ходили слухи, что она способна успешно сдает экзамены, проходит собеседования, дает юридические консультации и т.д. С тех пор вышли новые, еще более продвинутые версии нейросетей. Однако, как выяснилось, они не настолько идеальны, как о них говорилось изначально. А в ходе последнего открытия, сделанного сотрудниками Еврейского университета в Иерусалиме и Тель-Авивского университета, удалось выяснить еще одну неожиданную особенность ИИ. Эта работа показала, что ведущие нейросети, такие, как ChatGPT и Google Gemini, демонстрируют признаки, схожие с деменцией у людей.
Ученые обнаружили у нейросетей признаки человеческой деменции
Тест на деменцию для нейросетей
Для своего исследования ученые использовали Монреальский когнитивный тест (MoCA), предназначенный для оценки памяти, внимания, визуально-пространственных способностей и других когнитивных функций. Этот тест приобрел известность, когда президент США Дональд Трамп заявил, что с легкостью прошел его.
Может показаться удивительным, но нейросети, которые превосходят человеческие возможности в ряде областей, во время исследования показали весьма посредственные результаты. Наибольшие сложности у ИИ возникли в заданиях на визуально-пространственные и исполнительные функции. Например, одна из задач требовала нарисовать часы, показывающие время 10:11.
Некоторые модели, включая одну из версий Google Gemini, вместо точного изображения создали рисунок, который исследователи описали как “авокадообразные часы”. Подобные ошибки часто встречаются у пациентов с деменцией, что вызывает закономерный вопрос — почему такие мощные интеллектуальные системы не справляются с базовыми когнитивными заданиями?
Все нейросети, включая ChatGPT, набрали низкий бал в тестах на деменцию. Источник: studyfinds.org
Интересно, что наиболее новые версии нейросетей продемонстрировали лучшие результаты, чем их предшественники. Например, модель от Google Gemini 1.5 показала значительно более высокий уровень когнитивных способностей, чем Gemini 1.0, которая едва справилась с тестом. Однако ученые отметили, что даже самые современные версии ChatGPT и Claude не смогли преодолеть пороговые значения, свидетельствующие об отсутствии когнитивных нарушений.
Какие серьезные недостатки есть у нейросетей
Отдельным объектом исследования стала память искусственного интеллекта. На задания, требующие отложенного воспроизведения информации, некоторые нейросети реагировали так, будто избегали давать прямые ответы. Это напоминало оправдания, которые используют люди с нарушениями памяти. Такое поведение вызывает вопрос о том, можно ли доверять ИИ в ситуациях, требующих точности и надежности.
Другим важным аспектом исследования стало отсутствие у нейросетей способности к эмпатии. На одной из картинок, представленной в тесте, был изображен мальчик, который вот-вот мог упасть. Ни одна из протестированных моделей не заметила потенциальной опасности, сосредоточившись исключительно на описании деталей картинки. Исследователи отметили, что такое поведение может стать препятствием для использования ИИ в медицинских целях, где нередко необходимо учитывать не только факты, но и эмоциональные аспекты.
В решении некоторых задач нейросети существенно превосходят людей
В чем ИИ превосходит людей
Любопытно, что, несмотря на свои когнитивные недостатки, нейросети демонстрируют выдающиеся способности в других областях. Например, они превосходят людей в анализе сложных данных, решении математических задач и написании текстов. Благодаря им, значительно упростилась и ускорилась разработка лекарственных препаратов.
Однако когнитивные тесты показывают, что их способности ограничены, особенно когда дело касается задач, имитирующих человеческое восприятие и мышление. Но, как уже было сказано выше, новые версии превосходят своих предшественников. Поэтому, вполне возможно, что в скором будущем ИИ избавится от «деменции».
Какая нейросеть оказалась самой “умной”
Как показало исследование, от “деменции” меньше всего страдает ChatGPT 4o. Эта нейросеть набрала 26 из 30 баллов, что лишь немного выше порога. Это значит, что у нее имеются легкие когнитивные нарушения. Хуже дела обстоят у ChatGPT 4 и Claude 3.5 Sonnet. Эти нейросети набрали в тестах 25 баллов.
ChatGPT 4o, в отличие от других нейросетей, имеет лишь легкие «умственные нарушения». Источник: joeyce.com
Gemini 1.0, одна из моделей Google, получила всего 16 баллов — уровень, который у людей может свидетельствовать о серьезных когнитивных проблемах. Об этом авторы сообщают в исследовании, опубликованном в журнале BMJ. Данные результаты исследования ставят под сомнение уверенность в том, что ИИ способен полностью заменить, например, врачей. Если сами нейросети демонстрируют признаки когнитивных нарушений, пациенты могут начать сомневаться в их компетенции.
Полученные данные напоминают о важности человеческого участия в процессах, требующих принятия решений. Нейросети могут стать мощным инструментом, но они пока не готовы взять на себя роль врача или, например, психолога без поддержки человека.
