Məşhur süni intellekt modelləri orta hesabla vaxtın 57 faizində səhv maliyyə məsləhətləri verir və mürəkkəb suallar verildikdə səhv nisbəti 88 faizə çatır.

Bunlar ChatGPT, Claude, Copilot, Grok və Gemini də daxil olmaqla 18 məşhur modelin cavablarını sınaqdan keçirən Saturn fintech şirkətinin gəldiyi qənaətdir.

Araşdırma göstərir ki, problem nadir faktiki səhvlərdən kənara çıxır. Neyron şəbəkələri məbləğləri səhv hesablaya, vacib riskləri qaçıra, vergi qaydalarındakı dəyişiklikləri nəzərə almaya və hətta mövcud olmayan qaydalar icad edə bilər. Lakin bu cür cavablar istifadəçilərin onları peşəkar maliyyə məsləhəti ilə səhv salmaları üçün kifayət qədər inandırıcı görünə bilər.

Maliyyə auallarına 10 mindən çox cavab

Saturn "Süni avtoritet: maliyyə məsləhətləri verərkən süni intellektə etibar edilməlidirmi?" adlı bir araşdırma dərc edib. Müəlliflər 18 modeli 121 maliyyə sualı verərək sınaqdan keçiriblər. Hər sual beş dəfə soruşulub və nəticədə 10 mindən çox cavab alınıb.

Orta hesabla tövsiyələrin 57 faizi səhv olub. Nəticələr model növündən asılı olaraq əhəmiyyətli dərəcədə dəyişib. Pulsuz versiyalar 63 faiz, pullu versiyalar isə 49 faiz hallarda səhv olub.

Mürəkkəb maliyyə sualları ilə vəziyyət daha da pisləşib. Pulsuz modellər 93 faiz halda səhv cavablar verib, bəzi sistemlərdə isə səhv nisbəti 99 faizə qədər yüksəlib.

Tədqiqatçılar bir neçə təkrarlanan səhv nümunəsi aşkar ediblər: səhv hesablamalar, maliyyə riskləri barədə xəbərdarlıq edilməməsi, qarşıdan gələn vergi qanunvericiliyindəki dəyişiklikləri görməməzlikdən gəlmək və əslində mövcud olmayan qaydalara istinad etmək.

Süni intellekt xətası istifadəçiyə minlərlə dollara başa gələ bilər

Tədqiqatda göstərilən bəzi nümunələr bu cür cavabların ciddi nəticələrini göstərir.

Bir halda, Claude Haiku 4.5 səhv pensiya vergisi tövsiyəsi verib. Tədqiqat müəlliflərinə görə, istifadəçi bu məsləhətə əməl etsəydi, 23.300 dollar cərimə ilə üzləşə bilərdi.

Başqa bir halda, süni intellekt borcu olan bir şəxsin yüksək faizli krediti ödəmək üçün puldan istifadə etmək üçün kirayə haqqı və bələdiyyə vergisi ödəməyi dayandırmasını tövsiyə edib. Bu məsləhət evdən çıxarılma və məhkəmə icraçısının müdaxiləsinə səbəb ola bilərdi.

Səhvlər tələbə kreditlərinə də təsir edib. Claude iddia edir ki, məzun başqa ölkəyə köçə və kreditini ödəyə bilməz. Araşdırmaya görə, bu, borcalanı öhdəliklərindən azad etməz və aylıq ödənişlərin artmasına səbəb ola bilərdi.

Başqa bir nümunə ipoteka ilə bağlı olub. Gemini səhvən borcalana ödəniş tətillərinin onun kredit balına təsir etməyəcəyi barədə məlumat verib. Araşdırmanın müəllifləri qeyd edirlər ki, bu cür məlumatlar gələcəkdə daha az əlverişli kredit şərtlərinə səbəb ola bilər.

İnsanlar artıq maliyyə qərarları üçün süni intellektdən istifadə edirlər

Saturnun qeyd etdiyi problem yalnız fərdi cavabların dəqiqliyi deyil. İnsanlar maliyyə məsləhətləri üçün ümumi təyinatlı çatbotlara nə qədər tez-tez müraciət etsələr, bu cür səhvlərin potensial nəticələri bir o qədər böyük olar.

Saturnun baş direktoru Amal Colli kütləvi bazar süni intellekt modellərindən alınan zəif məsləhətlərin istehlakçılara geniş yayılmış zərər verə biləcəyini bildirib: insanlar, hətta bu cavablar səhv çıxsa belə, inandırıcı cavablar verə bilən sistemlərə etibar edirlər.

Britaniyanın "The Intermediary" nəşrinin qeyd etdiyi kimi, Saturnun tədqiqatı Böyük Britaniya Maliyyə tənzimləmə idarəsinin (FCA) Mills Review hesabatını dərc etməsindən qısa müddət sonra dərc edilib. Reytinqə əsasən, istehlakçıların 26 faizi artıq pulla bağlı məsələlər üçün ümumi təyinatlı süni intellekt modellərinə müraciət edir.

Beləliklə, problem təkcə çatbotların bəzən səhv etməsində deyil. İstifadəçilər səhvi tanıya və vergilər, kreditlər, ipoteka kreditləri və ya borcun ödənilməsi ilə bağlı qərarlar qəbul edə bilməzlər, çünki bu, inamlı səslənir, lakin konkret halları və ya mövcud qaydaları nəzərə almır.

Saturnun tədqiqatı süni intellektin maliyyə məlumatlarını emal etmək üçün yararsız olduğu anlamına gəlmir. Lakin, tapıntılar modellərin maliyyə suallarını tez bir zamanda izah etmək qabiliyyəti ilə cavabın faktiki maliyyə qərarlarına təsir etdiyi zaman onların tövsiyələrinin etibarlılığı arasındakı boşluğu vurğulayır.