Исследование утверждает, что возможности ChatGPT ухудшаются с возрастом

Чат-бот компании OpenAI на основе искусственного интеллекта ChatGPT, похоже, со временем становится все хуже, и исследователи не могут дать четкого ответа, почему.

Исследователи из Стэнфорда и Калифорнийского университета в Беркли обнаружили, что новейшие модели ChatGPT стали гораздо менее способными давать точные ответы на идентичный ряд вопросов в течение нескольких месяцев.

Авторы исследования не смогли дать четкого ответа, почему ухудшились возможности чат-бота с искусственным интеллектом.

Чтобы проверить, насколько надежны различные модели ChatGPT, исследователи попросили модели ChatGPT-3.5 и ChatGPT-4 решить ряд математических задач, ответить на деликатные вопросы, написать новые строки кода и провести пространственное мышление с помощью подсказок.

Согласно исследованию, в марте ChatGPT-4 был способен идентифицировать простые числа с точностью 97,6%. В том же тесте, проведенном в июне, точность GPT-4 упала до 2,4%.

Напротив, более ранняя модель GPT-3.5 улучшила идентификацию простых чисел за тот же период времени.

Когда дело дошло до генерации строк нового кода, возможности обеих моделей существенно ухудшились в период с марта по июнь.

Исследование также показало, что ответы ChatGPT на деликатные вопросы - с некоторыми примерами, показывающими акцент на этнической принадлежности и поле - позже стали более лаконичными при отказе отвечать.

Более ранние версии чат-бота предоставили подробные объяснения, почему он не может ответить на некоторые деликатные вопросы. Однако в июне модели просто извинились перед пользователем и отказались отвечать.

«Поведение одного и того же сервиса [большая языковая модель] может существенно измениться за относительно короткий промежуток времени», — пишут исследователи, отмечая необходимость постоянного мониторинга качества модели ИИ.

Чем можно объяснить явное понижение рейтинга ChatGPT всего за несколько месяцев? Исследователи предполагают, что это может быть побочным эффектом оптимизации, проводимой OpenAI, его создателем.

Одной из возможных причин являются изменения, введенные для предотвращения ответов ChatGPT на «опасные» вопросы. Однако такое согласование с безопасностью может ухудшить полезность ChatGPT для других задач.

«GPT-4 со временем становится все хуже, а не лучше», — написал в Twitter эксперт по искусственному интеллекту Сантьяго Вальдеррама. Вальдеррама также высказал предположение, что «более дешевая и быстрая» смесь моделей могла заменить исходную архитектуру ChatGPT.

«Слухи предполагают, что они используют несколько меньших и специализированных моделей GPT-4, которые действуют аналогично большой модели, но менее дороги в эксплуатации», — предположил он, что, по его словам, может ускорить ответы для пользователей, но снизить компетентность.

Другой эксперт, доктор Дж. М. Фан, также поделился своими мыслями по этой теме.

«К сожалению, большая безопасность обычно достигается за счет меньшей полезности», - написал он в твиттере, сказав, что пытался осмыслить результаты, связав их с тем, как OpenAI настраивает свои модели.

«Я предполагаю (нет доказательств, просто предположение), что OpenAI потратил большую часть усилий на «лоботомию» с марта по июнь и не успел полностью восстановить другие важные возможности».

Фан утверждает, что могли сыграть роль и другие факторы, а именно усилия по сокращению расходов, введение предупреждений и заявлений об отказе от ответственности, которые могут «отупить» модель, а также отсутствие более широкой обратной связи от сообщества.

Напомним, что ранее OpenAI обнародовала планы по созданию команды, которая поможет управлять рисками, которые могут возникнуть из-за сверхинтеллектуальной системы искусственного интеллекта, что, как ожидается, появится в течение десятилетия.

Хотите зарабатывать на крипте? Подписывайтесь на наши Telegram каналы!