Det skrives og sies for tiden enormt mye om generativ AI – eller ChatGPT, Bard, Midjourney, CoPilot og hva man nå kaller alle verktøyene. Meningene er mange, fra dem som vil forby forskning på store språkmodeller til de som ser på det som fremtidens løsning på det meste.

Seriøs og målbar forskning, derimot, er det nokså tynt med – og jeg har ventet spent på når noe skal komme som bygger på noe mer enn synsing basert på at man har prøvet noen av verktøyene. Nå er den første artikkelen kommet (i alle fall den første jeg vet om), og det er, nær sagt som vanlig, professor ved Stanford (og tidligere ved MIT) Erik Brynjolfsson som står for den, sammen med Danelle Li og Lindsey Raymond kommet. Den heter Generative AI at Work, og er en studie av hvordan bruk av generative språkmodeller påvirker opplæringen av over 5000 kunderådgivere i et stort amerikansk firma.

Abstraktet sier:

We study the staggered introduction of a generative AI-based conversational assistant using data from 5,179 customer support agents. Access to the tool increases productivity, as measured by issues resolved per hour, by 14 percent on average, with the greatest impact on novice and low-skilled workers, and minimal impact on experienced and highly skilled workers. We provide suggestive evidence that the AI model disseminates the potentially tacit knowledge of more able workers and helps newer workers move down the experience curve. In addition, we show that AI assistance improves customer sentiment, reduces requests for managerial intervention, and improves employee retention.

Artikkelen er lang, grundig, og interessant fordi datamaterialet er så solid. Jeg skal ikke summere den her – det kommer kanskje senere og i en annen setting – men merker meg denne setningen:

….we see that AI assistance leads to substantial improvements in problem resolution and customer satisfaction for newer- and less-skilled workers, but does not help the highest-skilled or most-experienced workers on these measures. Analyzing the text of agent conversations, we find suggestive evidence that AI recommendations lead low-skill workers to communicate more like high-skill workers.

Med andre ord: Generativ AI (som det ser ut til at man lander på som begrep) gjør at man kan bruke billigere ressurser til standard arbeid (og eventuelt erstatte dem), men man trenger fortsatt de beste medarbeiderne både for å håndtere de vanskelige casene, og for å lage det datamaterialet som skal til for å løfte de svakeste.

Og det er jo en ganske fornuftig bruk av AI, mener nå jeg.

PS: Generativ AI og bruk av det blir tema for første møte i begge Comunità-gruppene – vi gleder oss!