Journalistisia käytäntöjä tutkiva Columbia Journalism Review on julkaissut tutkimuksen, joka tutki chatbottien kykyä luoda lähdeviittauksia luotettavasti.
Tutkimuksen mukaan chatbotit saivat keskimäärin vain 40 prosenttia lähdeviittauksista täysin oikein.
Vähiten virheitä chatboteista teki Perplexity AI, joka sai noin kaksi kolmasosaa lähdeviittauksista oikein.
Kaikista huonoiten suoriutui xAI:n Grok 3, joka teki virheitä jopa 94 prosentissa lähdeviittauksia.
Tulokset kertovat chabottien merkittävästä epäluotettavuudesta asiakirjoittamisen automatisoinnissa. Ongelmaa korostaa se, että chatbotit ovat huonoja arvioimaan lähdeviittausten todenmukaisuutta itse.
“[Chatbotit] antoivat vääriä vastauksia hälyttävän korkealla itseluottamuksella”, tutkimustuloksissa todetaan.
Kaikkea ei rahallakaan saa
Tutkimuksen mukaan vääriä lähdeviittauksia antoivat todennäköisemmin maksulliset kuin ilmaiskäytössä olevat chatbotit.
Tämä ei kuitenkaan tarkoita, että maksulliset mallit olisivat huonompia tekemään lähdeviittauksia. Ne ovat vain itsevarmempia ollessaan väärässä, mikä johtaa suurempaan varianssiin lähdeviittausten laadussa.
“Vaikka [maksulliset mallit] vastasivat useampaan kehotteeseen oikein kuin vastaavat ilmaiset versiot, ne osoittivat ristiriitaisesti myös korkeampia virhetasoja”, tutkijat kirjoittavat.
Tutkijoiden tuloksista vetämä johtopäätös on, että chatbotit antavat käyttäjilleen “vaarallisen illuusion luotettavuudesta”.
Tutkimus toteutettiin antamalla chatboteille otteita vain teksteistä, joiden lähdemateriaali oli helposti löydettävissä hakutyökalujen avulla.