“Kļūdīties ir cilvēcīgi; Lai patiešām sabojātu lietas, ir nepieciešams dators. ”Viljams E. Vaughans izdarīja šo novērojumu jau 1969. gadā. Piešķirot kontroli automatizētai sistēmai, sistēmas potenciāls var kļūt greizi un radīt nopietnu kaitējumu, pirms tā tiek pārbaudīta.
Automatizācija nav nekas jauns, taču tā kļūst daudz izplatītāka, pateicoties digitālo un fizisko sistēmu integrācijai. Automatizācijas augšdaļa mērogā ir liela efektivitāte. Bet paļaušanās uz komplektēšanas un aizmirsšanas sistēmu ir tas, ka kādam var neizdoties to pareizi iestatīt.
Izmantojot sistēmu, kas vienkārši seko bez iejaukšanās un nekādā veidā neaptur mašīnu, jums var būt destruktīva ietekme. Attiecīgi tehnoloģija var radīt situācijas tipu, kas aprakstīts “Burvja māceklī”, kad tas, kas šķietami atvieglo dzīvi, faktiski tiek kontrolēts.
