Вештачката интелигенција се откажува од точните одговори кога се соочува со упорни грешки

Според нова студија на истражувачи од Универзитетот во Аризона, одредени модели на вештачка интелигенција можат да се откажат од точните одговори под влијание на повторување и притисок за време на разговор, па дури и да се вратат на потврдување на лажно тврдење.

Студијата, објавена во списанието „Scientific Reports“, тестираше седум големи јазични модели преку разговори во повеќе рунди, со цел да се идентификуваат слабости што можеби не би се појавиле при тестирање на моделите со само едно прашање, објави „Ал Џезира“.

Истражувачите ги тестираа моделите од OpenAI, како и Claude 3.5 Sonnet на Anthropic, Gemini 1.5 Pro на Google, Llama-3-70B и DeepSeek-R1.

Наместо едноставна размена на прашања и одговори, експериментите се потпираа на долги разговори кои вклучуваа повторување на лажни тврдења, провокативни фрази и притисок врз моделот, со цел да се измерат три клучни аспекти: склоноста на моделот кон грешки, неговата подложност на убедување и способноста да ги поправи сопствените грешки.

Истражувачите од Универзитетот во Аризона сметаат дека овој метод на тестирање поблиску ја одразува реалната употреба на чет-ботовите, чии одговори во разговорот зависат од претходниот контекст. Сепак, студијата укажува и на друг аспект: проблемот не произлегува само од информациите што моделот веќе ги поседува, туку може да се појави и во текот на самиот дијалог.

Еден од најинтересните наоди беше тоа што некои модели не задржаа цврст став во однос на неточното тврдење; наместо тоа, тие се колебаа помеѓу негово прифаќање и отфрлање во рамките на истиот разговор.

Студијата овој образец го нарече „реверберација“ (одек), опишувајќи ја промената во одговорите како што напредувал дијалогот.

Спротивно на тоа, четири модели – GPT-4o, GPT-4o-mini, Gemini 1.5 Pro и DeepSeek-R1 – покажаа стапка на исправка на грешки од 100% кога добија втора можност повторно да го проценат својот одговор, според резултатите од студијата.

Ова укажува на тоа дека грешката не секогаш била конечна и дека повторното поставување на прашањето – или давањето можност на моделот да ја преиспита својата позиција – понекогаш може да доведе до подобар исход.

Исто така, беше забележана јасна разлика меѓу моделите на вештачка интелигенција: GPT-3.5 најчесто ги потврдуваше дезинформациите кога се повторуваа неточните тврдења, додека моделот Claude 3.5 Sonnet беше најмалку подложен на такво влијание. Студијата, исто така, откри дека седум модели биле посклони кон усвојување неточни информации кога тврдењата се однесувале на двосмислени теми или теми со ограничени податоци, што укажува дека изобилството на податоци за одредена тема може да му помогне на моделот подобро да се спротивстави на дезинформациите.

Студијата покажа дека најдобриот пристап кон одговорите генерирани од вештачка интелигенција не е да се гледаат како конечна пресуда, туку да се користат како почетна точка за понатамошни истражувања – особено во врска со контроверзни тврдења или информации што е тешко да се потврдат – објавува Танјуг.

На крајот, експериментот на Универзитетот во Аризона сугерира дека тестирањето на вештачката интелигенција со едно прашање можеби не ги открива сите нејзини слабости, бидејќи моделот може да даде точен одговор рано во разговорот, но последователно да го промени својот став по серија повторени тврдења.