KI lurer deg med skrivefeil

Ny studie avslører at vi ikke lenger klarer å lese forskjell på KI-tekster og tekster skrevet av virkelige mennesker. Selv KI sliter med å vite hva som er hva. Så kan vi stole på restaurantanmeldelser på Google og Tripadvisor?

Professor Balázs Kovács ved Yale School of Management, mannen som står bak studien, fôret OpenAIs CPT-4 med en haug anmeldelser fra nettstedet Yelp, og ba KI-modellen om å imitere dem. Deretter ble et testpanel utsatt for originale, menneskeskrevne Yelp-anmeldelser – og imiterte anmeldelser skrevet av CPT-4. Som forventet – eller kanskje fryktet – klarte ingen i testpanelet å avgjøre hva som var hva. Faktisk ble flere KI-anmeldelser bedømt som menneskeskapte enn omvendt.

KI slo Turing før tiden

Helt siden datamaskinene ble oppfunnet har man jobbet med å gjøre dem stadig mer menneskelignende, eller stadig mer «intelligente». Derfor beskrev Alan Turing – kjent blant annet for banebrytende arbeid på Bletchley Park under forrige verdenskrig – en test i tidsskriftet Mind i 1950, som skulle kunne brukes til å måle hvor nær mennesket datamaskinene til enhver tid lå på intelligensskalaen. Litt grovt og upresist sagt handler testen om at den dagen datamaskinen klarer å lure oss til å tro at tekstene den produserer er skrevet av mennesker, så har den bestått Turing-testen. Og der er vi vel i dag, med KI.

Er dette et problem?

Tilbake til professor Kovács og testen hans. De første «anmeldelsene» som CPT-4 ble bedt om å produsere, ble avslørt umiddelbart av testpanelet. Fordi språkbruken var for perfekt. Derfor ba Kovács KI-programmet om å legge inn litt mer hverdagslige talemåter, slenge inn noen caps lock her og der, og å stave et og annet ord feil. Og vips, så gikk hele testpanelet «fem på».

Hva er egentlig problemet? Vel, kundeanmeldelser på nett er fryktelig viktige for fryktelig mange. Allerede i 2018 sa 57 prosent av de spurte i en amerikansk undersøkelse at de alltid leste anmeldelser før de kjøpte produkter og tjenester. Men hva hvis brorparten av anmeldelsene er skrevet av roboter? Hva skal man med en anmeldelse av – for eksempel – Trondheims beste pizza, hvis den er skrevet av en datamaskin som verken kan tygge eller svelge?

Teknologigigantene jobber med problemet, og en mulig løsning vil kunne bli en form for verifisering. Som i at du må bevise at du faktisk har spist pizza i Trondheim før du får lov til å gi karakter på Google eller Tripadvisor.

SMAKmagasinet følger utviklingen.