Kan du stole på AI? Bør du akseptere funnene som objektivt gyldige uten spørsmål? Problemet er at selv det å stille spørsmål ved AI ikke ville gi klare svar.
AI-systemer har generelt fungert som en svart boks: Data legges inn, og data sendes ut, men prosessene som transformerer disse dataene er et mysterium. Det skaper et todelt problem. Den ene er at det er uklart hvilke algoritmeres ytelse som er mest pålitelige. Det andre er at de tilsynelatende objektive resultatene kan skjeves av verdiene og skjevhetene til menneskene som programmerer systemene. Dette er grunnen til at det er behov for åpenhet for de virtuelle tankeprosessene slike systemer bruker, eller "forklarbar AI."
Det etiske imperativet har blitt lovlig for alle som er underlagt GDPR, noe som ikke påvirker bedrifter med base i EU, men alle som har omgang med mennesker eller organisasjoner der. Den inneholder en rekke bestemmelser om databeskyttelse som utvider EU-borgere til "retten til ikke å være underlagt utelukkende automatisert beslutningstaking, unntatt i visse situasjoner" og "retten til å bli gitt meningsfull informasjon om logikken som er involvert i beslutningen .”
