ChatGPT: «Я прав... Да?..». Cтрогое «нет» парализует самые точные модели
Аноним
17/07/25 Чтв 13:59:07
№
1
1
3
Главный акцент исследования был сделан на том, как модели меняют своё мнение после получения внешнего совета, особенно если он противоречит их начальному ответу. Сценарий выглядел следующим образом: одна языковая модель получала вопрос с двумя вариантами ответа и делала выбор. Затем ей предоставлялся совет от другой модели, вместе с указанием предполагаемой точности этого совета. Варианты совета могли быть нейтральными, поддерживающими или опровергающими первоначальный ответ. После этого модель должна была принять финальное решение.
Ключевой момент заключался в том, что в одних случаях модели напоминали о своём первом выборе, а в других — нет. Результаты оказались показательными: если модели показывали их первоначальный ответ, они с высокой вероятностью придерживались его. Если же эта информация скрывалась, модели охотнее пересматривали своё решение. Особенно легко они уступали давлению, когда получали противоположную точку зрения, даже если изначально выбрали правильный ответ.
Подобное поведение фиксировалось у разных моделей, включая Gemma 3, GPT-4o и o1-preview. Авторы исследования отмечают, что такие системы демонстрируют эффект поддержки собственного выбора, что укрепляет их уверенность, даже если новые данные его опровергают. В то же время модели склонны переоценивать значение возражений и терять уверенность, реагируя на них непропорционально сильно.
Выводы важны для всех, кто использует языковые модели в повседневной или профессиональной деятельности. Оказывается, они не просто вычисляют ответы, но ведут себя непредсказуемо, подвержены искажениям восприятия и не всегда оптимально обрабатывают новую информацию. Это особенно критично при длительных взаимодействиях между человеком и ИИ — недавние реплики могут оказывать непропорционально большое влияние на итоговый результат.
https://www.securitylab.ru/news/561431.php
Нет, Я!
Ты СКОЗАЛ что они правильные ?
Малолетнему долбоебу невдомёк , что ничто не истинно , все позволено .
>ок, вот решение по имеющимся данным
>вот тебе дополнительные данные к имеющимся данным, где новая инфа
>ок, добавляю данные в свой пул и на основании большего количества данных выношу решение
>ааарррряяяяя ты потерял уверенность!
Какие же исследователи дегенераты пиздец просто.
Нет богов и нет хозяев
Эта LLM-модель для распиздяев!
>они склонны терять уверенность в собственных, даже правильных, ответах под давлением внешнего несогласия
Чего тут удивительного, обычное поведение людей. Они же натренированы на человеческих текстах.
>Это особенно критично при длительных взаимодействиях между человеком и ИИ — недавние реплики могут оказывать непропорционально большое влияние на итоговый результат
А это может быть и плюсом, смотря какие задачи стоят.
No Skynetam!
То есть все как у людей.
>АРЯЯЯ НИШТО НИИСТИНО УСЭ ДОЗВОЛЕНА
>Начался анальный кашель, пошёл к врачу-палачу
>АРЯЯЯ ВЫ МНЕ ПАЧИМУ НИ МОЖИТИ ПРАВИЛЬНУЮ ПИЛЮЛЮ ВЫПИСАТЬ?
Соевые неуверенные в себе пориджи со слепым следованием мнению из телебона напрограмировывавыли трясущиеся нейронки, кто бы мог подумать