Annonse
Debatt
Retningslinjer holder ikke når KI forsterker menneskelig feil
Menneskelige feil kommer alltid til å forekomme, i alle sektorer og organisasjoner. Men med KI blir konsekvensene av små menneskelige feil skalert opp.
Publisert
Meninger i debattinnlegg står for skribentens regning
Da jeg ble intervjuet til min første lederstilling i kommunesektoren, spurte min kommende sjef om jeg hadde erfaring fra sektoren.
– Tja, svarte jeg. Jeg har jobbet i statlig sektor og akademia i nesten ti år. Offentlig sektor er vel offentlig sektor?
Der tok jeg grundig feil, skulle det vise seg. For jeg har aldri møtt mennesker som arbeider så hardt og kjenner så sterkt på sitt samfunnsansvar som kommunalt ansatte.
I to år ledet jeg digitaliseringsnettverket DigiTrøndelag, og fikk gleden av å samarbeide med digitaliseringsrådgivere, IT-ledere og kommunedirektører i store deler av Trøndelag. Mennesker som brant for velferdsteknologi, åpenhetsloven og for å ta de beste faglige avgjørelsene om skjermbruk i skoler.
Overalt møtte jeg medarbeidere som var bevisste sitt ansvar for å levere 220 lovpålagte tjenester, uavhengig av kommunenes størrelse eller ressursgrunnlag.
Derfor ga ChatGPT-skandalen i Tromsø mening for meg da den ble kjent i 2025. Vi i Digi-Trøndelag hadde på dette tidspunktet fått midler fra Statsforvalteren til å utvikle generative KI-kurs til ansatte i Trøndelag, og var fortsatt i startgropa.
En ansatt i Tromsø fikk i oppdrag å utarbeide kunnskapsgrunnlag for en politisk sak, som en del av en høringsprosess. Den ansatte brukte ChatGPT som hjelpemiddel og tok med kildehenvisninger som viste seg å ikke eksistere.
Jeg har sett mine kollegaer i Trondheim få lignende oppdrag mange ganger. Alle som hjelper ledelsen å svare på komplekse politiske bestillinger, må gjøre det under tidspress.
Det var lett å forstå hvordan en presset ansatt tar i bruk et hvilket som helst verktøy som er tilgjengelig. Jeg kjente mer på empati enn overraskelse.
I sommer skjedde noe lignende i Bodø.
Alle som hjelper ledelsen å svare på komplekse politiske bestillinger, må gjøre det under tidspress.
En ansatt lastet opp seks filer til KI-tjenesten Claude, for å få hjelp til å analysere sykefravær. En av filene inneholdt sensitive personopplysninger knyttet til 3580 ansattes sykdommer og egenmeldinger, samt andre personlige data som kjønn og antall dagsverk.
Den ansatte varslet internt. Kommunen gjennomførte en vurdering av konsekvenser og varslet Datatilsynet. Det tyder på at kommunen har varslingsrutiner som fungerer.
Samtidig har kommunen pekt på at hendelsen ikke ville skjedd «dersom gjeldende retningslinjer hadde blitt fulgt». Retningslinjene tydeliggjør at ansatte ikke skal laste opp sensitive personopplysninger til Claude.
Det er riktig, men ikke tilstrekkelig. Menneskelige feil kommer alltid til å forekomme, i alle sektorer og organisasjoner. Men med KI blir konsekvensene av små menneskelige feil skalert opp.
Datatilsynet sier at dataene som ble sendt inn, ble levert til Anthropics servere i USA. Dette sier meg at kommunen manglet en databehandleravtale for å forhindre dette, eller at ansatte brukte egen privat konto.
Hvis en personvernkonsekvensvurdering ble utført, vil jeg vurdere den som utilstrekkelig. Hadde kommunen kalt meg inn som rådgiver, ville jeg sagt følgende til dem.
Hva har skjedd med de sensitive helseopplysningene til disse 3580 ansatte?
Dataene deres lagres på Anthropics servere for «kvalitetskontroll», noe som innebærer at de analyseres av Anthropic. Anthropics ansatte har tilgang til kommunalt ansattes data. Dataene deres eies nå av Anthropic.
Dataene deres kan ikke fjernes fra Claude eller fremtidige versjoner eller språkmodeller. Teknisk sett kan de, i en prosess som kalles ‘model disengorgement’, men de fleste selskapene nekter å gjennomføre en så kostbar prosess.
Amerikanske myndigheter har rett til å få tilgang til disse opplysningene. Ifølge Avisa Nordland har Datatilsynet antydet at å umiddelbart slette samtaletråden i Claude innebar at dataene ble slettet fra Anthropics servere. Det stemmer ikke.
Alle disse konsekvensene kunne vært unngått dersom kommunen hadde hatt en databehandleravtale på plass. Eller dersom Claude hadde iverksatt mekanismer for å identifisere og blokkere behandling av sensitive opplysninger. Det er mulig, men det reduserer hastigheten på svarene. Eller dersom den ansatte hadde brukt en annen tjeneste med andre vilkår og betingelser.
Det fungerer heller ikke å stadig be ansatte i offentlig sektor om å gjøre mer med mindre.
Retningslinjer som plasserer ansvaret hos den enkelte ansatte, kan ikke forhindre slike konsekvenser. Retningslinjer kan redusere sannsynligheten for menneskelige feil, men er ikke tilstrekkelig for å begrense konsekvensene som blir forsterket og oppskalert av KI.
Det fungerer heller ikke å stadig be ansatte i offentlig sektor om å gjøre mer med mindre. Å ansette færre praktikanter og nyutdannede, samtidig som man forventer at KI-verktøy skal avlaste allerede pressede ansatte, forsterker problemene.
Det som trengs er god KI-styring. Brukeropplæring tilpasset ansattes roller, ansvar og kompetanse fra før er en del av KI-styring. Sammen med cybersikkerhet, tverrfaglige vurderinger og godkjenning av verktøy, samt aktiv involvering av personvernombud.
God KI-styring ville ha hjulpet Bodø kommune til å forstå hvilke alternativer de hadde. Burde de stille strengere krav til innebygde sikkerhetsmekanismer i et KI-verktøy de allerede brukte? Burde de velge en ny leverandør som benytter norsk eller europeisk skyinfrastruktur?
God KI-styring betyr at man tenker gjennom avhengigheter, både organisatorisk og leverandørmessig, men også fremtidige og gjentakende behov for kontroll og kompetansebygging.
Og god KI-styring involverer å planlegge for at ansatte har tilstrekkelig tid til å utføre oppgavene sine, og at de bruker riktig verktøy, KI eller ei.
