С моментом появления ChatGPT многие восхищались его возможностями — от успешной сдачи экзаменов до правовых консультаций. Однако данные, приведенные учеными из Еврейского и Тель-Авивского университетов, подчеркивают, что даже самые современные нейросети, такие как ChatGPT и Google Gemini, имеют свои недостатки. Исследование показало, что они могут демонстрировать признаки, сопоставимые с деменцией у человека.
Ученые обнаружили у нейросетей признаки человеческой деменции
Тест на деменцию для нейросетей
В рамках исследования специалисты использовали Монреальский когнитивный тест (MoCA), который служит для оценки таких функций, как память и внимание. Этот тест стал популярен после того, как о его прохождении рассказал Дональд Трамп.
Результаты оказались неожиданными: хотя нейросети превосходят людей в некоторых областях, на тесте они показали посредственные результаты. Особенно сложными для них оказались задания, связанные с визуально-пространственными навыками. Например, одна из задач требовала нарисовать часы с указанием времени 10:11, но вместо этого одна из моделей Google Gemini изобразила “авокадообразные часы”. Такие ошибки схожи с теми, что наблюдаются у людей с деменцией, что вызывает вопросы о том, почему высокоразвитые системы не справляются с базовыми заданиями.
Все нейросети, включая ChatGPT, набрали низкий бал в тестах на деменцию. Источник: studyfinds.org
Стоит отметить, что более новые версии нейросетей показали лучшие результаты, чем их предшественники. Например, модель Google Gemini 1.5 продемонстрировала более высокий уровень когнитивных функций в сравнении с Gemini 1.0, которая едва справилась с тестом. Но даже современные версии ChatGPT и Claude не смогли пройти порог, указывающий на отсутствие когнитивных нарушений.
Какие серьезные недостатки есть у нейросетей
Особое внимание исследователи уделили памяти искусственного интеллекта. На задания, требующие отложенного воспроизведения информации, некоторые нейросети реагировали, как будто уклонялись от прямых ответов, что напоминало поведение людей с нарушениями памяти. Это raises a question о доверии к ИИ в критически важных ситуациях.
Также важно отметить отсутствие эмпатии у нейросетей. На одной из картин, представленных в тесте, изображался мальчик, который мог упасть, однако ни одна из моделей не заметила эту опасность, сосредоточившись лишь на деталях изображения. Это может ограничить применение ИИ в медицине и других сферах, где необходимы эмоциональные аспекты.
В решении некоторых задач нейросети существенно превосходят людей
В чем ИИ превосходит людей
Несмотря на указанные недостатки, нейросети продолжают демонстрировать высокие результаты в таких областях, как анализ данных, решение математических задач и создание текстов. Это привело к значительным достижениям в разработке лекарств.
Тем не менее когнитивные тесты показывают, что их способности ограничены, особенно в задачах, имитирующих человеческие восприятие и мышление. С учетом улучшений в новых версиях можно надеяться, что искусственный интеллект скоро справится с этими недостатками.
Какая нейросеть оказалась самой “умной”
В исследовании выяснили, что наименьшие признаки “деменции” проявляет ChatGPT 4o, набравшая 26 из 30 возможных баллов, что указывает на легкие когнитивные нарушения. У ChatGPT 4 и Claude 3.5 Sonnet дела обстоят хуже — обе набрали 25 баллов.
ChatGPT 4o, в отличие от других нейросетей, имеет лишь легкие «умственные нарушения». Источник: joeyce.com
В свою очередь, Gemini 1.0, модель от Google, достигла лишь 16 баллов, что у людей может говорить о серьезных когнитивных проблемах. Результаты исследования ставят под сомнение возможность полной замены врачей ИИ, так как у нейросетей есть признаки нарушение когнитивных функций. Это в свою очередь может вызвать недоверие у пациентов к их компетенции.
Таким образом, важное значение сохраняет человеческое участие в процессах, требующих принятия решений. Нейросети могут быть мощным инструментом, но пока их способности недостаточны для замены человека в таких областях, как медицина и психология.
