Friedrich-Joachim Mehmel:
9 Thesen zu Chancen und Risiken, demokratischer Legitimation und rechtsstaatlicher Kontrolle bei der Algorithmisierung der Verwaltung
 |
| Der ehem. Verfassungsgerichtspräsident Friedrich-Joachim Mehmel Foto: Privat |
Werden Systeme, die Algorithmen – zunehmend basierend auf „künstlicher Intelligenz (KI)“ – nutzen, in die Steuerungs- und Entscheidungsprozesse der öffentlichen Verwaltung einbezogen, wirft dies Fragen in Bezug auf die demokratische Legitimation ihres Einsatzes, den Grundrechtsschutz, das Rechtsstaatprinzip und den effektiven Rechtsschutz durch die Verwaltungsgerichte auf.
2) Bei der Entwicklung und Implementierung von technischen Systemen in der Verwaltung ist die Überprüfbarkeit auch durch Verwaltungsgerichte mitzudenken. Dies schließt den Einsatz von Systemen auf Basis maschinellen Lernens und neuronaler Netze nicht aus, stellt aber Anforderungen vor allem an Nachvollziehbarkeit, Erklärbarkeit, Inspizierbarkeit und Transparenz.
3) Grundsätze der Rechtsstaatlichkeit, die Notwendigkeit demokratischer Legitimation und die durch Grundrechte gezogenen Grenzen sollten bereits bei der Gestaltung der Systeme beachtet werden („Rule of Law by Design“). Dies wird um so wichtiger, je autonomer die technischen Systeme agieren. Entsprechende Zertifizierungen könnten helfen, bei neuen Projekten auf gute Praktiken aufzubauen, die anderswo entwickelt wurden. Dazu gehört auch die Qualitätssicherung der Datensätze, die für maschinelles Lernen genutzt werden.
7) Eine gerichtliche Entscheidung kann aus rechtlichen Gründen nicht von technischen Systemen selbständig getroffen werden. Der reflektierte, assistierende Einsatz von technischen Systemen kann aber eine Antwort auf die Zunahme der Komplexität richterlicher Tätigkeit bei erhöhtem Bedürfnis nach rascher Entscheidung sein.
8) Die Einführung der Systeme in Verwaltung und Verwaltungsgerichtsbarkeit setzt entsprechendes Wissen voraus; dies betrifft auch den Gesetzgeber, der die Grundlagen für das Handeln schafft. Modellprojekte sollten daher Wissenspartnerschaften zwischen Verwaltung, Verwaltungsgerichtsbarkeit, Wissenschaft und Wirtschaft fördern. Das experimentelle Ausprobieren von neuen Regeln (bspw. durch „Sandboxing“) gehört dazu.
9) Die Optimierung des Einsatzes technischer Systeme mit Blick auf die rechtlichen Anforderungen ist ein fortlaufender interdisziplinärer Prozess. Er setzt voraus, dass innerhalb der Einsatzfelder aber auch übergreifend gelernt werden kann. Wegen der Erfahrung mit der Zusammenarbeit über die Grenzen von Disziplinen und Theorie und Praxis hinweg bietet sich Hamburg als Plattform dafür an.
Die Freie und Hansestadt Hamburg ist ein Vorreiter in Sachen der Digitalisierung der Verwaltung. Vor etwas über einem Jahr haben sich Expertinnen und Experten unterschiedlicher Disziplinen aus Wissenschaft und Praxis in einer u. a. vom Rechtsstandort Hamburg e. V., dem Hans-Bredow-Institut für Medienforschung und dem Fachbereich Informatik der Universität Hamburg unter Mitwirkung der Senatskanzlei der Freien und Hansestadt Hamburg im Hamburger Rathaus in einer Fachtagung thematisch in der Schnittstelle von Technik und Recht ausgetauscht.
Gegenstand waren Wirkungen und Nutzen von Algorithmen und künstlicher Intelligenz in der öffentlichen Verwaltung, die aus ihrer Einbindung erwachsenden Probleme für den Grundrechts- und Datenschutz, das Rechtsstaats- und Demokratieprinzip und die Verwaltungsgerichtsbarkeit und mögliche Lösungsansätze (www.ki-und-verwaltung.de).
Vor dem Hintergrund dieser Diskussionen haben Professor Dr. Wolfgang Schulz, Direktor des Leibniz-Institut für Medienforschung, Hans-Bredow-Institut (Hamburg) und ich als Mitveranstalter die folgenden 9 Thesen verfasst, um Impulse für die weiteren Diskussionen der Digitalisierung in der Verwaltung zu geben. Nach wie vor werden die Debatten über den Einsatz künstliche Intelligenz in erster Linie technisch geführt. Zunehmend werden auch immer wieder ethische Fragen aufgeworfen.
Vor dem Hintergrund dieser Diskussionen haben Professor Dr. Wolfgang Schulz, Direktor des Leibniz-Institut für Medienforschung, Hans-Bredow-Institut (Hamburg) und ich als Mitveranstalter die folgenden 9 Thesen verfasst, um Impulse für die weiteren Diskussionen der Digitalisierung in der Verwaltung zu geben. Nach wie vor werden die Debatten über den Einsatz künstliche Intelligenz in erster Linie technisch geführt. Zunehmend werden auch immer wieder ethische Fragen aufgeworfen.
Darüber hinaus wird immer deutlicher, will man Chancen und Risiken der Digitalisierung in einer vernünftigen Balance halten, dass das Augenmerk auch auf die sich aus dem demokratischen Rechtsstaat unseres Grundgesetzes ergebenden Implikationen zu werfen ist. Ohne normativer Anforderungen wird dies nicht zu erreichen sein. Dabei bieten die neun Thesen auch Ansatzpunkte für den Einsatz künstliche Intelligenz nicht nur in der Verwaltung, sondern auch darüber hinaus.
1) Das Potential für die Unterstützung von Verwaltungsentscheidungen durch auf algorithmischer Datenverarbeitung basierende Systeme ist groß. Hinter dem - missverständlichen – Begriff der „künstlichen Intelligenz“ verbergen sich Leistungssteigerungen der Systeme in Hinblick vor allem auf das Klassifizieren, Optimieren, das Entdecken von Anomalien und das Vorhersagen angeht. Das Verwaltungsverfahren kann effektiver und effizienter gestaltet werden.
9 Thesen zu Chancen und Risiken, demokratische Legitimation und rechtsstaatliche Kontrolle bei der Algorithmisierung der Verwaltung
2) Bei der Entwicklung und Implementierung von technischen Systemen in der Verwaltung ist die Überprüfbarkeit auch durch Verwaltungsgerichte mitzudenken. Dies schließt den Einsatz von Systemen auf Basis maschinellen Lernens und neuronaler Netze nicht aus, stellt aber Anforderungen vor allem an Nachvollziehbarkeit, Erklärbarkeit, Inspizierbarkeit und Transparenz.
3) Grundsätze der Rechtsstaatlichkeit, die Notwendigkeit demokratischer Legitimation und die durch Grundrechte gezogenen Grenzen sollten bereits bei der Gestaltung der Systeme beachtet werden („Rule of Law by Design“). Dies wird um so wichtiger, je autonomer die technischen Systeme agieren. Entsprechende Zertifizierungen könnten helfen, bei neuen Projekten auf gute Praktiken aufzubauen, die anderswo entwickelt wurden. Dazu gehört auch die Qualitätssicherung der Datensätze, die für maschinelles Lernen genutzt werden.
4) Entscheidend für die rechtliche Beurteilung der Einbeziehung von Algorithmen ist das gesamte sozio-technische System. Dass – wie oft gefordert – letztlich ein Mensch entscheidet, verändert nur dann die Entscheidungsqualität, wenn er oder sie im Prozess tatsächlich eine eigenständige Entscheidung treffen kann. Die Einführung neuer Technologien sollte zudem aus (berufs-)ethischer Perspektive beständig reflektiert werden.
5) Vor jedem Einsatz von Systemen, die Künstliche Intelligenz nutzen, sollte eine einsatzfeldspezifische Folgenabschätzung stattfinden, die veröffentlicht und später regelmäßig mit der tatsächlichen Entwicklung abgeglichen wird.
6) Bei der Entwicklung von Systemen hat die Verwaltung als Nachfrager die Möglichkeit, den Alternativreichtum von am Markt verfügbaren Systemen zu erhöhen und so Pfadabhängigkeiten und Vermachtungen zu reduzieren. Dabei kann die Kooperation mit der Startup-Szene hilfreiche Impulse geben.
7) Eine gerichtliche Entscheidung kann aus rechtlichen Gründen nicht von technischen Systemen selbständig getroffen werden. Der reflektierte, assistierende Einsatz von technischen Systemen kann aber eine Antwort auf die Zunahme der Komplexität richterlicher Tätigkeit bei erhöhtem Bedürfnis nach rascher Entscheidung sein.
8) Die Einführung der Systeme in Verwaltung und Verwaltungsgerichtsbarkeit setzt entsprechendes Wissen voraus; dies betrifft auch den Gesetzgeber, der die Grundlagen für das Handeln schafft. Modellprojekte sollten daher Wissenspartnerschaften zwischen Verwaltung, Verwaltungsgerichtsbarkeit, Wissenschaft und Wirtschaft fördern. Das experimentelle Ausprobieren von neuen Regeln (bspw. durch „Sandboxing“) gehört dazu.
9) Die Optimierung des Einsatzes technischer Systeme mit Blick auf die rechtlichen Anforderungen ist ein fortlaufender interdisziplinärer Prozess. Er setzt voraus, dass innerhalb der Einsatzfelder aber auch übergreifend gelernt werden kann. Wegen der Erfahrung mit der Zusammenarbeit über die Grenzen von Disziplinen und Theorie und Praxis hinweg bietet sich Hamburg als Plattform dafür an.
* * *
Friedrich-Joachim Mehmel ist Präsident des Hamburgischen Oberverwaltungsgerichts und des Hamburgischen Verfassungsgerichts a. D. sowie Vorsitzender des Rechtsstandort Hamburg e. V. Die inhaltliche Verantwortung für den Gastbeitrag liegt beim Autor.
