Det räcker inte längre att ett system levererar ett relevant svar, det måste också gå att visa hur svaret uppstod, steg för steg, på ett sätt som håller för granskning. Det är här många organisationer stöter på problem. Det som initialt framstår som en teknisk implementation visar sig i praktiken vara en fråga om ansvar, spårbarhet och kontroll.

När starka delresultat inte räcker

Många AI-initiativ börjar i rätt ände. Språkmodeller testas i avgränsade uppgifter och levererar ofta imponerande resultat: sammanfattningar är träffsäkra, klassificeringar fungerar väl och rekommendationer upplevs som relevanta.

Utmaningarna uppstår först när modellerna sätts in i längre analyskedjor, vilket är typiskt inom risk och compliance. Inom AI-forskningen beskrivs den här begränsningen som modellens “task horizon”, alltså hur långa och komplexa uppgifter systemet klarar innan träffsäkerheten börjar falla. När små fel i varje delmoment multipliceras genom kedjan kan ett system fatta flera korrekta delbeslut och ändå landa i en felaktig slutsats. Den typen av avvikelser är särskilt problematiska i riskanalys, eftersom de ofta är svåra att upptäcka i efterhand och ännu svårare att förklara vid en granskning.

Det här skiftar fokus i hur AI bör utvärderas. Diskussionen handlar ofta om modellval: vilken modell som används, hur den är tränad eller hur hög precision den uppvisar i isolerade tester. I reglerade miljöer är det dock en annan fråga som blir avgörande: går det att rekonstruera beslutet?

Ett system som genererar ett till synes korrekt resultat genom en process som inte går att förklara är, ur ett regelefterlevnadsperspektiv, nästan lika problematiskt som ett system som ger fel svar. 

Därför blir AI i riskanalys i grunden ett arkitekturproblem snarare än ett modellproblem.

Där många implementationer brister

Många AI-lösningar byggs idag som sammanhängande processer där samma modell både tolkar information, gör bedömningar och formulerar slutsatser. Det fungerar i enklare sammanhang, men blir problematiskt när kraven på spårbarhet och reproducerbarhet ökar.

Två konsekvenser återkommer ofta:

• Den första är brist på reproducerbarhet, att samma input inte nödvändigtvis ger samma output. 
• Den andra är bristande spårbarhet, där det är svårt att i efterhand följa vilka datapunkter eller regler som faktiskt påverkat ett beslut.

Resultatet blir att analytiker fortfarande behöver lägga betydande tid på att verifiera AI-genererade resultat. I stället för att effektivisera arbetet riskerar man att bara flytta arbetsbördan.

Ett skifte i hur systemen byggs

För att möta de här kraven börjar allt fler organisationer se över hur deras AI-lösningar är konstruerade. En tydlig riktning är att separera språkförståelse från själva analysen och beslutslogiken. Det innebär att vissa delar av systemet behöver vara strikt deterministiska, där samma input alltid ger samma output, medan andra delar kan vara mer flexibla.

Den typen av arkitektur påverkar inte bara den tekniska implementationen, utan också möjligheten att granska, förstå och ytterst ta ansvar för de beslut som systemet producerar. Det är också här många AI-projekt antingen lyckas skala – eller fastnar.

AI har potential att förändra hur riskanalys bedrivs, men bara om systemen faktiskt minskar osäkerheten i beslutsprocessen – inte flyttar den.

‍

Joakim Isbjörk, Head of Product, Roaring

‍

Vill du fördjupa dig?

Ladda ner vårt senaste whitepaper: Roaring Hybrid Intelligence – AI som tål granskning