Zur Ausgabe
Artikel 19 / 20
Vorheriger Artikel
Nächster Artikel

Harvard-Fallstudie Ist Gesichtserkennung eine gute Idee?

Der Schutz der Kinder steht über allem – davon ist die Leiterin einer großen Kita überzeugt. Ein Gesichtserkennungssystem für Besucher soll mehr Sicherheit bringen. Doch schon am ersten Tag geht alles schief. Eine neue Fallstudie der Harvard Business School.
aus Harvard Business manager 12/2022
Foto:

Mia Oberländer für Harvard Business manager

Dieser Artikel gehört zum Angebot von manager-magazin+. Sie können ihn auch ohne Abonnement lesen, weil er Ihnen geschenkt wurde.

Der Sicherheitsmann konnte Beth Williams wegen des schrillen Alarms nicht hören. LED-Stroboskoplichter jagten über die hellblauen und pastellrosa Wände der Kindertagesstätte "Cub House". Der Wachmann ging auf Maria Sanchez zu und hinderte sie daran, sich einem Gruppenraum zu nähern, aus dem sie ihre Tochter abholen wollte. Er streckte seinen Arm aus, um sie aufzuhalten.

Maria sah verängstigt aus, und Beth – die Gründerin und Leiterin der Kita – war entsetzt. Sie eilte zu dem Wachmann und zischte ihm ins Ohr: "Sie ist in Ordnung." Dann holte sie ihr Handy heraus und tippte ein paar Zahlen ein. Der Alarm und die Lichter gingen aus. In einem Gruppenraum am Ende des Flurs begann ein Klavier wieder "Somewhere Over the Rainbow" zu spielen.

"Das tut mir so leid", sagte Beth und legte Maria Sanchez eine Hand auf die Schulter.1 "Wir testen momentan ein neues Sicherheitssystem mit Gesichtserkennung, und das blöde Ding geht ständig ohne Anlass los."

Ein fehlerhaftes System

Am späten Nachmittag, als alle Kinder und Eltern das Gebäude verlassen hatten, bat Beth ihren Chief Technology Officer Charles Rivers und den Sicherheitschef Anthony Michaels, zu ihr ins Erzieherinnenzimmer zu kommen. Beide Männer arbeiteten seit der Gründung 2010 für die Non-Profit-Kita in Beths Heimatstadt Dayton. Es war die größte Einrichtung ihrer Art im US-Bundesstaat Ohio, mit zahlreichen Freizeit- und Bildungsräumen für Kinder bis zum Alter von fünf Jahren. Eltern konnten den Aufenthalt flexibel buchen: Manche Kinder waren jeden Tag dort, andere kamen nur einmal im Monat. Aber alle Kinder und die Erwachsenen, die sie brachten und abholten, mussten registriert sein. Erwachsene mussten nicht nur ihren Namen angeben, sondern auch einen Lichtbildausweis vorlegen und ein Kfz-Nummernschild nennen.

Drei Monate zuvor war eine ältere, psychisch kranke Frau in die Einrichtung spaziert, als die Rezeptionistin und der Sicherheitsmann gerade nicht am Empfangstresen waren. Sie hatte mehrere Kleinkinder erschreckt. Die Eltern waren aufgebracht.

Charles und Anthony hatten Beth daraufhin vorgeschlagen, ein Gesichtserkennungssystem einzuführen. Kameras nahmen die Gesichter aller Besucherinnen und Besucher auf. Eine Software analysierte die Gesichtsgeometrie und versah jedes Foto mit einem einmaligen Code, dem jeweiligen Namen und der Zugangsberechtigung. Erkannte das System eine Person nicht oder betraten registrierte Besucher Räume, für die sie nicht autorisiert waren – etwa eine Kindertoilette oder ein Büro –, ging ein Alarm los.

Weil das Cub House eine gemeinnützige Einrichtung war – so berichtete Sicherheitschef Anthony –, hatte der Hersteller ihnen die Kosten erlassen, bis das System richtig funktionierte. CTO Charles war einverstanden gewesen: "Das Ganze wird finanziell überschaubar und technisch solide sein. Und wir alle werden dadurch nachts besser schlafen."

Aber Beth war skeptisch. Sollten sie wirklich die Sicherheit von Kindern und Besuchern einem automatisierten System anvertrauen? Sie fand Gesichtserkennung irgendwie unheimlich – das war nichts, was an einen Ort für Kinder gehörte. Doch ihre Kollegen blieben hartnäckig, also stimmte sie letztlich einem Test zu. Drei Tage lang blieb die Einrichtung für die Entwicklung des Systems geschlossen.

Während der informellen Testreihen mit den Mitarbeitenden funktionierte die Technik perfekt. Als Beth eine Assistenzkraft, die noch keine komplette Zugangsberechtigung besaß, in einen gesicherten Bereich schickte, ertönte der Alarm. Auch als sie mit den Händen vorm Gesicht an der Rezeption vorbeirannte, ging der Alarm los. Die Sicherheitsapp auf ihrem Handy zeigte ihr ein Foto des vermeintlichen Eindringlings, und mittels ihres Sicherheitscodes konnte Beth den Alarm ausschalten. Dutzende informelle Tests wie diese hatte das System einwandfrei gemeistert. Beths Bedenken ließen nach.

Aber schon der Morgen, als das System live ging, war eine einzige Katastrophe. Der Alarm ertönte gleich fünfmal, und nie lag ein echter Sicherheitsverstoß vor. Jedes Mal erschreckte der Lärm Mitarbeitende, Kinder und Eltern. Beim fünften Mal war es zu dem Vorfall mit Maria Sanchez gekommen.

"Ich mache mir Sorgen", sagte Beth an diesem Nachmittag zu Charles und Anthony. "Es hat schon Beschwerden gegeben. Auf mich wirkt das wie ein gewaltiges Risiko für unsere Beziehungen im Viertel und für die Zufriedenheit unserer Besucher."

"Das sind die üblichen Anlaufschwierigkeiten", erwiderte Charles. "Wir wissen, dass das System funktioniert. Der Hersteller hat mir versichert, dass mehrere Krankenhäuser und Schulen es bereits getestet haben.2 Wir können den Eltern ja erklären, dass das alles zum Schutz ihrer Kinder ist. Und wenn die Leute sehen, dass Sicherheit bei uns im Mittelpunkt steht, werden sie noch lieber hierherkommen. Wenn wir auch nur einen Vorfall verhindern können, bei dem jemand zu Schaden kommt, dann hat sich das Projekt schon gelohnt."

"Aber ich glaube, wir haben ein Problem", warf Anthony ein. "Habt ihr zufällig bemerkt, was die Leute gemeinsam haben, die den Alarm ausgelöst haben?"

Beth und Charles sahen sich an und zuckten mit den Schultern.

"Alle fünf waren Frauen mit dunkler Hautfarbe", sagte Anthony.3 "Systeme für Gesichtserkennung hängen wie jede andere automatisierte Technik von den Daten ab, mit denen sie gefüttert wurden. Wenn diese Gesichter vor allem weiß und männlich sind – und das trifft auf die meisten Leute zu, die diese Dinger programmieren –, dann macht das System mehr Fehler, wenn es die Gesichter von nicht weißen Menschen und Frauen bewertet. Wir können das Problem zum Teil mit technischen Mitteln angehen – stimmt's, Charles?" Charles nickte. "Aber kannst du uns garantieren, dass wir es vollständig lösen können?"

Schon wieder war Beth entsetzt. Wenn falsche Alarme überdurchschnittlich oft Frauen und People of Color betrafen – die große Mehrheit derer, die täglich in die Kita kamen –, dann wäre das nicht nur eine große, anhaltende Störung des Tagesgeschäfts und ein mögliches Reputations- und Haftungsrisiko. Es würde auch allem widersprechen, was sie den Kindern über Fairness und Empathie beizubringen versuchte.

Andererseits: Angesichts der zahlreichen Schießereien an Schulen in den USA4, der hohen Kriminalitätsrate in Dayton und der Angst vor der psychisch kranken Frau hatte die Sicherheit des Cub House für Beth und die Eltern ihrer Schützlinge oberste Priorität.

"Lasst uns das System erst mal abschalten", sagte sie. "Ich gebe euch und dem Anbieter ein paar Wochen, um daran zu arbeiten, dass es nicht zu weiteren Fehlalarmen kommt."

Die rechtlichen Folgen

Am nächsten Tag traf sich Beth mit Tanya Marshall zum Mittagessen in einem Bistro in der Innenstadt von Dayton. Die beiden Frauen waren seit ihrem Studium an der Ohio State University befreundet. Tanya war die erste Schwarze, die es in der größten Anwaltskanzlei der Stadt bis zum Partnerstatus geschafft hatte. Sie hatte Beth ermutigt, das Cub House aufzubauen, als es nur aus ein paar Power-Point-Folien bestand. Ihre beiden Kinder hatten die Kita regelmäßig besucht, und Tanya war eines der aktivsten Boardmitglieder und spendete regelmäßig für die Einrichtung.

"Ich wollte mal hören, wie es bei dir läuft", sagte sie, als sie bestellt hatten. "Maria Sanchez hat auf der Facebook-Seite des Cub House gepostet, dass der Alarm losging, als sie und zwei andere Latinas das Gebäude betraten – und dass sie deshalb aufgehalten wurden."

"Es waren fünf", sagte Beth.

"Fünf?"

"Ja, der Alarm ist bei fünf verschiedenen Women of Color losgegangen." Beth berichtete Tanya von der psychisch kranken Frau, von der Gesichtserkennungssoftware und deren Mängeln. "Das System wird in diesem Moment überarbeitet", sagte sie.

"Du solltest es besser nicht wieder in Betrieb nehmen", sagte Tanya. "Zumindest jetzt noch nicht. Sonst riskierst du eine Klage, wenn in Ohio neue Datenschutzgesetze verabschiedet werden." Sie verwies auf einige aktuelle Verfahren und Vergleiche in Illinois, bei denen Facebook, Google und das Gesichtserkennungs-Start-up Clearview AI verklagt worden waren.

"Die meisten Leute fühlen sich unwohl, wenn Unternehmen solche Technologien einsetzen", sagte Tanya.5 "Und ich glaube nicht, dass es beim Cub House anders sein wird."

"Auch nicht, wenn es uns mehr Sicherheit gibt?", fragte Beth. "Was würde passieren, wenn wir das System abschalten, und dann kommt es zu einem weiteren Sicherheitsverstoß, den wir hätten verhindern können? Gott bewahre, dass jemand das Gebäude mit einer Waffe betritt! Wie sollte ich den Eltern erklären, dass wir zwar die Technik besitzen, um ihre Kinder zu schützen, sie aber nicht eingesetzt haben? Wäre das nicht auch ein Grund, uns zu verklagen?"6

Tanya schwieg für einen Moment. "Schau mal, ich sage ja nicht, dass du diese Gesichtserkennungssoftware nicht einsetzen sollst", sagte sie dann. "Aber du musst die Sache gründlich durchdenken – rechtlich und ethisch. Und du musst dir sicher sein, dass du in jeder Hinsicht abgesichert bist. Wenn Women of Color von Sicherheitsleuten schikaniert werden, kannst du das Cub House gleich zumachen."

Kann's jetzt losgehen?

In den folgenden Monaten arbeitete CTO Charles mit dem Hersteller daran, die Genauigkeit des Sicherheitssystems zu verbessern. Sie installierten drei hochauflösende Kameras am Empfangstresen, die aus verschiedenen Winkeln alle Menschen fotografierten, die das Gebäude betraten und verließen. Ein Schild am Empfang erklärte: "Aus Sicherheitsgründen nehmen wir Fotos von Ihnen auf." Die Gesichtserkennungssoftware verknüpfte jedes Foto mit dem Namen und den Zugangsberechtigungen der Person. Je mehr Fotos zu einer Datei hinzukamen, desto genauer konnte das System das jeweilige Gesicht erkennen.

Um die Probleme mit weiblichen und nicht weißen Gesichtern zu beheben, hatte Beth angeordnet, dass am Empfangstresen starke Lampen installiert wurden. Dadurch konnten die Kameras optische Unterschiede besser erkennen.

Charles wollte testen, wie gut das System in Echtzeit funktionierte. Daher schaltete er es während des Sommerkonzerts ein, als die meisten Kinder und ihre Eltern im Cub House waren und Fünfjährigen beim Singen von Liedern aus "Der Zauberer von Oz" zuhörten. Er deaktivierte den akustischen Alarm, ließ aber die Benachrichtigungen aktiviert. So wurde er über jeden angeblichen Sicherheitsverstoß informiert. An diesem Abend erhielt er zwei. Die erste Benachrichtigung erhielt er, als ein unregistrierter Elternteil das Gebäude betrat, ohne sich am Empfang zu melden. Die zweite löste ein registrierter Vater aus, der mit seinem Kleinkind eine Kindertoilette betrat, um ihm die Windel zu wechseln.

Am nächsten Morgen brachte Charles Donuts mit. An einem Picknicktisch im Garten des Cub House besprachen er, Beth und Anthony die Ergebnisse des Tests. Charles versicherte, er sei zuversichtlich, dass das System besser geworden sei. Fehlalarme seien zwar unvermeidlich, kämen aber seltener vor. Er schlug vor, die Lautstärke der Alarmanlage etwas zu verringern, damit sie nicht mehr so schrill klang. Er hatte außerdem einen Brief an die Eltern vorbereitet, in dem er das System und mögliche Ursachen für Fehlalarme erklärte. Eventuelle Unannehmlichkeiten bat er zu entschuldigen.

Anthony war mit diesem Plan einverstanden. Im schlimmsten Fall würde das System allen etwas lästig sein. Bestenfalls würde es die Kinder schützen und seine Sicherheitsleute entlasten.

Beth war immer noch besorgt. Sie befürchtete, dass ein Monat technischer Bastelei und ein Testabend nicht ausreichten, um die Genauigkeit des Systems sicherzustellen. Ein leiserer Alarm wäre sicher besser, aber was nützte er, wenn nicht alle ihn hörten? Würde diese Technologie das Cub House wirklich zu einem sichereren Ort machen? Oder bescherte sie Beths Einrichtung nur noch mehr Probleme?

Sollte Beth die Gesichtserkennung im Cub House behalten?

Experte Joseph Steinberg

"Das Cub House ist mit der Software weniger sicher als mit anderen bewährten Methoden."

Joseph Steinberg war CEO von SecureMySocial und Green Armor Solutions, zwei Anbietern von Sicherheitssoftware. Er ist Autor des Buches "Cyber-Sicherheit für Dummies" (Wiley-VCH 2020).

Joseph Steinberg war CEO von SecureMySocial und Green Armor Solutions, zwei Anbietern von Sicherheitssoftware. Er ist Autor des Buches "Cyber-Sicherheit für Dummies" (Wiley-VCH 2020).

Ich würde Beth drei Fragen stellen: Löst die Technik das Problem, das Sie lösen wollen? Falls ja, ist sie die beste Methode, um Ihr Problem zu lösen? Und löst sie das Problem, ohne neue Probleme zu schaffen? Die Antwort auf alle drei Fragen lautet: nein.

Beth braucht die Gesichtserkennungssoftware nicht und sollte sie auch nicht als primären Mechanismus einsetzen, um das Cub House vor Eindringlingen zu schützen. Es gibt bessere Wege, um ihr Ziel zu erreichen – und die bieten höhere Sicherheit als die Gesichtserkennung, verursachen aber weniger unerwünschte Nebeneffekte.

Beth könnte beispielsweise autorisierte Personen mit scanbaren Ausweisen ausstatten. Der Sicherheitsmann könnte den Ausweis aller Menschen scannen, die das Cub House betreten möchten, und deren Aussehen mit Fotos vergleichen, die auf seinem Monitor erscheinen. Und sicherlich würde er regelmäßige Besucherinnen und Besucher bald selbst erkennen.

Beth könnte veranlassen, dass alle Türen der Einrichtung – bis auf den Haupteingang – nur von innen zu öffnen sind, und diese mit einem Alarmsystem ausstatten. Zudem könnte sie dem Sicherheitsmann eine kameragestützte Sicht auf alle Türen ermöglichen. Sie könnte am Eingang sogar zwei Türen in Form einer Schleuse installieren.

Ein klassischer Sicherheitsansatz ist vielleicht nicht so schick wie die Gesichtserkennung, aber er funktioniert besser. Je nachdem, wie sie eingestellt ist, löst die Gesichtserkennung entweder mehr falsche Alarme aus oder lässt mehr Personen ohne Zugangsberechtigung ins Cub House, als es das Sicherheitspersonal tun würde. Und anders als ein Sicherheitsmann kann das System keine potenziellen Attentäter oder andere unautorisierte Personen aufhalten, die gewaltsam ins Gebäude eindringen wollen.

Unterm Strich ist das Cub House mit Beths Gesichtserkennungssystem wahrscheinlich weniger sicher als mit anderen bewährten Methoden.

Experte Cedric L. Alexander

"Ich hätte im Vorfeld mit den Eltern gesprochen und sie nicht nur mit einem Brief informiert."

Cedric L. Alexander ist CEO des Beratungsunternehmens CL Alexander Consulting sowie Sicherheitsbeauftragter von Minneapolis. Er will die Stadt, die nach der Ermordung von George Floyd von Unruhen erschüttert wurde, zum sichersten Ort der USA machen. Alexander war stellvertretender Polizeichef des US-Bundesstaates New York, Federal Security Director im US-Innenministerium und stellvertretender Bürgermeister von Rochester, New York.

Cedric L. Alexander ist CEO des Beratungsunternehmens CL Alexander Consulting sowie Sicherheitsbeauftragter von Minneapolis. Er will die Stadt, die nach der Ermordung von George Floyd von Unruhen erschüttert wurde, zum sichersten Ort der USA machen. Alexander war stellvertretender Polizeichef des US-Bundesstaates New York, Federal Security Director im US-Innenministerium und stellvertretender Bürgermeister von Rochester, New York.

Gesichtserkennung ist eine hilfreiche Technologie. Wir nutzen sie jeden Tag – um unsere Smartphones zu entsperren, auf Reisen, aus Sicherheitsgründen. Aber Sie können kein Produkt mit Gesichtserkennung testen und bewerben, wenn Sie nur weiße Menschen als Testgruppe einsetzen. Und Sie können es auch nicht an einem einzigen Abend während eines Konzerts testen, wie Beth und ihr Team es getan haben.

Beth hätte schon tätig werden müssen, bevor sie das System im Cub House installieren ließ, wo sie für die Sicherheit der Kinder verantwortlich ist. Sie hätte mit anderen Herstellern und Personen sprechen müssen, die Erfahrung mit Gesichtserkennungssystemen haben. Vor allem müssen verlässliche Daten vorliegen, die das System zu einer korrekten Zuordnung befähigen.

Es ist sicher hilfreich, dass das Cub House die Beleuchtung und das Kamerasystem verbessert hat. Aber der Technologiehersteller muss auf jeden Fall mehr Daten zur Verfügung stellen, um zu belegen, dass das System korrekt arbeitet. Daher sollte Beth ihn ganz direkt fragen: "Wurde dieses Produkt mit einer breiten Stichprobe der Bevölkerung getestet?" Dann muss sie mit dem Anbieter zusammenarbeiten, um ihren Mitarbeitenden eine fachkundige Schulung zu ermöglichen. Und sie sollte darauf achten, dass diejenigen, die mit dem System arbeiten, bestimmte Qualifikationen mitbringen.

Ich hätte im Vorfeld mit den Eltern gesprochen und sie nicht nur mit einem Brief informiert. Beth hätte mit ihnen einzeln oder in Gruppen sprechen und es ihnen folgendermaßen erklären müssen: "Diese Technologie werden wir einsetzen, um Ihre Kinder zu schützen. Dies ist der Anbieter, den wir in Betracht ziehen. Um soundsoviel Prozent wird die Technologie die Wahrscheinlichkeit verringern, dass jemand ins Haus eindringt und Ihren Kindern Schaden zufügt."

Wenn Sie den Leuten mitteilen, dass Sie den Einsatz einer neuen Technologie erwägen, geben Sie ihnen Gelegenheit, Zustimmung oder Bedenken zu äußern. Menschen sind oft bereit, an etwas Neuem und Innovativem teilzunehmen, vor allem wenn sie es als fair und produktiv empfinden. Aber wenn Beth nicht mit den Eltern spricht und etwas schiefgeht, wird sie mit noch mehr Gegenwind rechnen müssen, selbst wenn Charles den Brief bereits abgeschickt hat.

In den kommenden 10 bis 15 Jahren werden sich Systeme für Gesichtserkennung zu etwas ganz Normalem in der Sicherheitstechnik entwickeln. Aber sie müssen optimiert werden, und wir müssen die Öffentlichkeit besser darüber aufklären, welchen Wert diese Technik hat.

Ausgabe Dezember 2022

Warum so zynisch?

Misstrauen zerstört die Zusammenarbeit. Wie Führungskräfte umsteuern.

Zur Ausgabe Jetzt abonnieren
Zur Ausgabe
Artikel 19 / 20
Vorheriger Artikel
Nächster Artikel
Die Wiedergabe wurde unterbrochen.