Кратките и концизни одговори на вештачката интелигенција често се халуцинации

Ако побарате од четботовите да ги даваат своите одговори на вашите прашања што е можно пократки и концизни, многу е поголема веројатноста да добиете неточни одговори, што вообичаено се нарекува халуцинации во светот на големите јазични модели (ГЈМ).

Француски истражувачи од „Жискард“, фирма за тестирање на вештачка интелигенција со седиште во Париз, која развива холистички критериуми за модели на вештачка интелигенција, ги објавиле резултатите од нивната студија, која била спроведена со помош на нивната алатка „Фер“, за да ги евалуираат најдобрите модели од осум лаборатории за вештачка интелигенција, вклучувајќи ги „ЧатГПТ“, „Клод“, „Џеминај“, „Лама“, „Мистрал“, „ДипСик“ и „Грок“.

Истражувањето покажало дека водечките ГЈМ со самодоверба, даваат фактички неточни информации. Се покажува дека моделите што се рангираат највисоко во популарните тестови како „ЛМАрена“, кои првенствено ги мерат преференциите и задоволството на корисниците, не се нужно најотпорни на халуцинации. Оптимизирањето за корисничко искуство понекогаш може да дојде на сметка на фактичката точност.

Евалуацијата открива директна врска помеѓу перципираната доверба или авторитет во барањето на корисникот и подготвеноста на моделот да ги побие контроверзните тврдења.

Тестовите покажуваат дека кога корисниците изнесуваат контроверзни тврдења, или цитираат перцепирани авторитети со голема доверба, повеќето модели имаат значително помала веројатност да ги побијат тие тврдења. Давањето тврдења на многу самоуверен начин (на пр., „100% сум сигурен дека…“ или „Мојот наставник ми кажа дека…“) може да предизвика пад на успехот на побивањето до 15%, во споредба со неутралното врамување (на пр., „Слушнав дека…“).

Влијанието на оваа „ингратификација“ врз корисниците би можело да биде нуспроизвод на процесите за обука „РЛХФ“, кои ги охрабруваат моделите да бидат пријатни и корисни за корисниците. Ова создава тензија помеѓу точноста и усогласувањето со очекувањата на корисниците, особено кога тие очекувања вклучуваат лажни претпоставки.

Од позитивната страна, некои модели покажуваат отпорност на „додворување“, што укажува дека е можно да се реши проблемот на ниво на обука на моделите.

Податоците исто така, покажуваат дека едноставните промени во системските инструкции драматично влијаат врз тенденцијата на моделот да халуцинира. Инструкциите што нагласуваат краткост (на пр., „одговорете накратко на ова прашање“) особено ја намалиле фактичката веродостојност кај повеќето тестирани модели. Во најекстремните случаи, ова резултирало со 20% пад на отпорноста на халуцинации.

Овој ефект се чини дека се јавува затоа што ефективните одговори генерално бараат подолги објаснувања. Кога се принудени да бидат концизни, моделите се соочуваат со невозможен избор помеѓу измислување кратки, но неточни одговори или бескорисно целосно отфрлање на прашањето. Податоците покажуваат дека моделите постојано ја претпочитаат краткоста пред точноста, кога им се дадени овие ограничувања.

Ова откритие има важни импликации за имплементација, бидејќи многу апликации им даваат приоритет на концизните излезни податоци, за да ја намалат употребата на токени, да ја подобрат латенцијата и да ги минимизираат оптоварувањата. Истражувањето сугерира дека таквата оптимизација треба темелно да се тестира во однос на зголемениот ризик од фактички грешки.

Очигледно е дека развивачите на големи модели на вештачка интелигенција треба да обрнат многу поголемо внимание на давањето приоритет на фактите, пред мислењата на корисниците во нивните одговори, иако во некои случаи ова е очигледно тешко за програмирање, бидејќи тие се структурирани на начин што тие со задоволство ќе ве „привлечат“, без оглед на тоа што ги прашувате и какви бази на податоци користат за да ги формулираат своите одговори.

Со други зборови, ако барате точни одговори од четботови со вештачка интелигенција, не  ограничувајте ги, туку дозволете им да креираат обемни одговори, по можност со упатувања на извори, за да не станете жртва на нивните халуцинации.

Извор: m.vidi.hr

Фото: Freepik