Dirbtinis intelektas jau seniai nebėra tik mokslinės fantastikos dalis: nustatyta, kaip tiksliai veikia naujausi DI įrankiai

Skaitmeninės žurnalistikos centras „Tow Center for Digital Journalism“ neseniai ištyrė aštuonias dirbtinio intelekto paieškos sistemas, įskaitant „ChatGPT Search“, „Perplexity“, „Perplexity Pro“, „Gemini“, „DeepSeek Search“, „Grok-2 Search“, „Grok-3 Search“ ir „Copilot“. Jie patikrino kiekvienos iš jų tikslumą ir fiksavo, kaip dažnai įrankiai atsisakydavo atsakyti.

Tyrėjai atsitiktine tvarka pasirinko 200 naujienų straipsnių iš 20 naujienų leidėjų (po 10). Jie užtikrino, kad kiekvienas straipsnis patektų į tris pirmuosius „Google“ paieškos rezultatus, kai naudojama cituojama straipsnio ištrauka. 

Tada jie atliko tą pačią užklausą kiekvienoje dirbtinio intelekto paieškos priemonėje ir įvertino tikslumą pagal tai, ar paieškoje buvo teisingai nurodytas A) straipsnis, B) naujienų organizacija ir C) nuoroda.

Tada tyrėjai kiekvieną paiešką pažymėjo pagal tikslumo laipsnį nuo „visiškai teisinga“ iki „visiškai neteisinga“. Kaip matote iš toliau pateiktos diagramos, išskyrus abi „Perplexity“ versijas, dirbtiniai intelektiniai robotai nepasiekė gerų rezultatų. Kartu paėmus, dirbtinio intelekto paieškos sistemos 60 proc. atvejų yra netikslios. Be to, šiuos neteisingus rezultatus sustiprino dirbtinio intelekto „pasitikėjimas“ jais.

Tyrimas įdomus, nes kiekybiškai patvirtina tai, ką žinojome jau kelerius metus, – kad AI yra „gudriausi visų laikų sukčiai“. Jie visiškai autoritetingai praneša, kad tai, ką sako, yra tiesa, net jei taip nėra, o kartais, kai su tuo susiduriama, imasi ginčytis arba išgalvoja kitus melagingus teiginius.

„ChatGPT Search“ buvo vienintelė dirbtinio intelekto priemonė, kuri atsakė į visas 200 straipsnių užklausų. Tačiau ji pasiekė tik 28 proc. visiškai tikslaus įvertinimo ir buvo visiškai netiksli 57 proc. atvejų. „ChatGPT“ net nėra blogiausia iš visų. Abi X „Grok“ dirbtinio intelektinio proto versijos pasirodė prastai, o „Grok-3 Search“ buvo 94 proc. netiksli. 

Ne ką geriau sekėsi ir „Microsoft“ „Copilot“, jei atsižvelgsime į tai, kad jis atsisakė atsakyti į 104 užklausas iš 200. Iš likusių 96 tik 16 buvo „visiškai teisingos“, 14 – „iš dalies teisingos“, o 66 – „visiškai neteisingos“, taigi jis buvo maždaug 70 proc. netikslus.

Turbūt beprotiškiausia, kad šias priemones kuriančios bendrovės neskaidriai informuoja apie šį tikslumo trūkumą, o iš visuomenės ima nuo 20 iki 200 JAV dolerių per mėnesį už prieigą prie naujausių dirbtinio intelekto modelių.