Vodič
Je li ChatGPT pouzdan za posao: gdje AI griješi i kako se to hvata
Pripremio tim HelpAi.
Pouzdan je za nacrte, sažetke i razvrstavanje, ali ne i za tekst ili brojku koja bez provjere ide kupcu, dobavljaču ili u knjige. Jezični modeli griješe uvjerljivo: izmisle podatak koji ne postoji i napišu ga jednako sigurno kao točan. Zato se u poslu ne pita je li AI točan, nego tko i kako provjerava njegov rezultat.
Ispod je gdje točno griješe ChatGPT i drugi alati na jezičnim modelima, kako firme te greške hvataju u svakodnevnom radu i primjeri iz proizvodnje, trgovine, građevine i usluga.
Zašto AI zvuči sigurno i kad nije u pravu
Jezični model slaže odgovor riječ po riječ, prema onome što je vjerojatno, a ne prema provjerenoj bazi činjenica. Kad mu podatak nedostaje, često ne kaže da ga ne zna, nego složi nešto što zvuči ispravno.
Anthropic, tvrtka koja razvija modele Claude, u svojoj dokumentaciji piše da i najnapredniji modeli ponekad stvaraju tekst koji je činjenično netočan ili ne odgovara zadanom kontekstu, i to naziva halucinacijom. Isto vrijedi za modele drugih dobavljača, pa i za one iza ChatGPT-a: to je svojstvo tehnologije, ne jednog proizvoda.
Problem nije samo greška nego ton. Netočan odgovor napisan je jednako uredno kao točan, pa ga čovjek koji žuri lako propusti.
Gdje jezični modeli najčešće griješe
Greške se ponavljaju na istim mjestima. Za posao je korisno znati ih unaprijed:
- Izmišljene činjenice: naziv propisa, broj članka, rok, adresa ili izvor koji ne postoji. Najopasnije kad pitate nešto o čemu sami ne znate dovoljno da biste grešku prepoznali.
- Brojke i iznosi: model može krivo prepisati iznos sa skena, zamijeniti decimalni zarez i točku, pogrešno zbrojiti stavke ili pomiješati neto i bruto. Za računanje je sigurniji pravi alat, na primjer tablica.
- Zastarjeli podaci: model zna ono što je bilo u podacima na kojima je učen, do određenog datuma. Anthropic za svaki svoj model objavljuje datum do kojeg je njegovo znanje najpouzdanije. Novi propisi, cjenici, tečajevi i promjene kod dobavljača mu nisu poznati ako mu ih netko ne da.
- Regionalni jezik: hrvatski, bosanski i srpski su bliski, pa model ponekad pomiješa riječi, ijekavicu i ekavicu ili latinicu i ćirilicu. Stručni nazivi iz vaše struke i lokalni izrazi kupaca također mogu biti krivo shvaćeni.
- Vaši podaci i dogovori: model ne zna vaš cjenik, uvjete plaćanja ni dogovor s kupcem dok mu ih ne date. Bez toga popuni prazninu nečim općenitim što zvuči kao vaše pravilo.
Kad AI piše kupcima, odgovara firma
Najskuplja greška je ona koja ode van. Poznat primjer je kanadski slučaj Moffatt protiv Air Canade iz veljače 2024. Chatbot na stranici avioprijevoznika rekao je putniku da će mu dio cijene karte vratiti po pravilima za smrt u obitelji ako zahtjev preda u roku od 90 dana, iako pravila tvrtke traže da se takva karta zatraži prije putovanja.
Prema pisanju CBS Newsa, Air Canada je tvrdila da je chatbot zasebna pravna osoba odgovorna za svoje postupke. Kanadski tribunal to je odbio: tvrtka odgovara za sve informacije na svojoj stranici, i nema razlike dolaze li sa statične stranice ili iz chatbota. Putniku je morala platiti naknadu.
Riječ je o odluci stranog tribunala, ali pouka vrijedi i ovdje: ono što AI napiše u ime firme kupac čita kao riječ firme. Ako agent odgovara kupcima, a obrađuje i njihove osobne podatke, vrijede i pravila o zaštiti podataka, o čemu piše vodič AI agent i GDPR.
Kako se greške hvataju u stvarnom poslu
Greške se ne mogu potpuno ukloniti, ali se mogu uhvatiti prije nego što naprave štetu. I sam Anthropic u istoj dokumentaciji navodi da tehnike za smanjenje halucinacija ne uklanjaju greške potpuno i da kritične podatke uvijek treba provjeriti. U praksi pomaže pet stvari:
- Izvor istine su podaci firme: cjenik, katalog, narudžba, ugovor ili izvod. Agent smije koristiti samo njih, a ne opće znanje, i kad podatak ne nađe, mora to reći umjesto da pogađa. Anthropic upravo to preporučuje: dopustiti modelu da kaže da ne zna i ograničiti ga na zadane dokumente.
- Čovjek odobrava prije slanja: ponuda, narudžba, odgovor kupcu ili podatak za knjigovođu ide osobi na odobrenje. Ništa ne ide van bez njezina klika dok se ne vidi da agent na tom poslu ne griješi.
- Uzorak provjere: kad rezultati dugo prolaze bez ispravaka, čovjek više ne pregledava sve, nego redovito provjerava uzorak. Ako se greške vrate, vraća se i potpuni pregled.
- Ograničen opseg zadatka: agent radi jedan jasan posao, na primjer nacrt ponude iz cjenika, a ne sve što mu padne pod ruku. Što je zadatak uži, lakše je provjeriti rezultat i lakše se vidi gdje je pogriješio.
- Zapis što je agent napravio: koji je dokument pročitao, odakle je uzeo podatak i što je poslao na odobrenje. Bez zapisa grešku ne možete pronaći, a ni ispraviti pravilo koje ju je izazvalo.
Primjeri iz proizvodnje, trgovine, građevine i usluga
Kako to izgleda na poslovima koje male i srednje firme stvarno daju AI-ju:
- Proizvodnja: agent iz upita izvuče materijal, količinu i rok i složi nacrt ponude. Rizik je da tolerancije ili količinu krivo pročita iz privitka. Zato uz svaki nacrt stoji iz kojeg dijela upita je uzeo podatak, a ponudu odobrava osoba iz prodaje.
- Trgovina i distribucija: agent odgovara na upite o dostupnosti. Rizik je da obeća robu koje nema. Zato smije navesti samo stanje iz izvoza zaliha, a kad artikla nema u izvozu, piše nacrt s napomenom da treba provjeriti.
- Građevina: agent slaže nacrt privremene situacije iz evidencije izvedenih količina i ugovornog troškovnika. Rizik je kriva jedinica mjere ili stavka koja nije u ugovoru. Zato označi svaku stavku bez para u troškovniku, a voditelj gradilišta provjerava situaciju prije slanja.
- Usluge i agencije: agent piše dopis klijentu koji nije odgovorio na ponudu. Rizik je da spomene uvjet ili popust koji nikad nije dogovoren. Zato smije citirati samo ono što piše u poslanoj ponudi, a dopis prije slanja pročita osoba koja vodi klijenta.
- Računovodstvena priprema: agent čita račune i slaže tablicu za knjigovođu. Rizik je krivo pročitan iznos ili datum. Zato vrijednosti u koje nije siguran označava, ne pogađa ih, a zbroj tablice se uspoređuje sa zbrojem računa.
Kako sami provjeriti je li AI dovoljno točan za vaš posao
Opće ocjene ne govore puno o vašem poslu. Korisnije je izmjeriti na vlastitim primjerima:
- Uzmite dvadesetak stvarnih primjera iz prošlog mjeseca za koje znate točan rezultat, na primjer upite s već poslanim ponudama.
- Pustite AI da ih obradi s istim pravilima koja vrijede za vaše ljude.
- Usporedite rezultat s onim što je stvarno poslano i zapišite svaku grešku: što je krivo, koliko bi koštalo da je otišlo van i bi li je pregled uhvatio.
- Isti primjer pustite više puta. Ako dobijete različite odgovore, na tom mjestu model nije siguran i ono traži pregled.
- Posebno provjerite tekst na jeziku i pismu kupaca, uključujući stručne nazive i lokalne izraze.
ChatGPT u pregledniku i AI agent pod nadzorom
Kad zaposlenik nešto pita ChatGPT u pregledniku, provjera ovisi samo o njemu: što zalijepi, što prepozna kao grešku i što kopira dalje. Za povremena pitanja i nacrte to je u redu.
Kod posla koji se ponavlja svaki dan provjera treba biti ugrađena u postupak, a ne prepuštena pažnji pojedinca. Virtualni radnik koji HelpAi postavlja radi na alatima koje firma već koristi, ponude, narudžbe i druge odluke šalje čovjeku na odobrenje, a samostalno radi samo ono što mu firma izričito dopusti. Na početku se pregledava sve, a kad rezultati prolaze bez većih ispravaka, prelazi se na uzorke za provjeru.
Ako želite vidjeti koliko ponavljajućeg posla u vašoj firmi uopće ima smisla dati AI-ju, procjena na helpai.hr to pokaže kroz pitanja o vašem poslu, a cijenu i rok dobijete na sastanku od 30 minuta.
Najčešća pitanja
Smijem li vjerovati brojkama koje izračuna ChatGPT?
Ne bez provjere. Jezični model može krivo prepisati ili zbrojiti iznose, pa brojke koje idu u ponudu, račun ili izvještaj treba provjeriti u izvornom dokumentu ili izračunati u tablici.
Zna li ChatGPT nove propise i cijene?
Ne nužno. Model zna ono što je bilo u podacima na kojima je učen, do određenog datuma, pa novije propise, cjenike i promjene ne zna ako mu ih netko ne da. Za propise provjerite službeni izvor.
Kako smanjiti izmišljanje odgovora kod AI-ja?
Dajte mu dokumente iz kojih smije odgovarati, recite mu da koristi samo njih i dopustite mu da kaže da ne zna. Tražite da uz tvrdnju navede odakle ju je uzeo. To smanjuje greške, ali ih ne uklanja, pa čovjek i dalje provjerava ono što ide van.
Tko odgovara ako AI kupcu napiše nešto krivo?
U praksi firma, jer kupac ono što piše u njezino ime čita kao riječ firme. U kanadskom slučaju Moffatt protiv Air Canade tribunal je presudio da tvrtka odgovara i za ono što kaže njezin chatbot. Zato odgovori kupcima na početku idu na odobrenje čovjeku.
Koliko često treba provjeravati rad AI agenta kad jednom proradi?
Na početku se pregledava sve. Kad rezultati dugo prolaze bez ispravaka, prelazi se na redovit uzorak, a pri svakoj promjeni pravila, cjenika ili vrste dokumenata ponovno na potpuni pregled dok se ne vidi da agent ne griješi.
Izvori
Izvore smo pročitali na dan ažuriranja. Propisi se mijenjaju, pa za svoju situaciju provjerite važeći tekst.