“Å feile er menneskelig; for å virkelig ødelegge ting krever en datamaskin. ”William E. Vaughan gjorde denne observasjonen tilbake i 1969. Å gi kontroll over et automatisert system gir potensial for at systemet kan gå galt og forårsake alvorlig skade før det blir kontrollert.
Automatisering er ikke ny, men den blir mye mer utbredt takket være integrasjonen av digitale og fysiske systemer. Ulempen med automatisering på skala er stor effektivitet. Men ulempen med å stole på et sett-og-glem-det-system er at noen kanskje ikke klarer å stille det ordentlig.
Med et system som ganske enkelt følger uten inngrep og ingen måte å stoppe maskineriet på, kan du få ødeleggende effekter. Følgelig kan tech skape den type situasjoner som er avbildet i “The Sorcerers Apprentice, ” når det som ser ut til å gjøre livet lettere faktisk går tom for kontroll.
