Responsibility Gaps in Human Machine Interaction (ReGInA)

Wir untersuchen die potenziellen Gefahren eines zu starken Vertrauens in Maschinen bei medizinischen Entscheidungen. Wir bewerten das angemessene Maß an Vertrauen, damit Ärzt*innen vom Einsatz KI-basierter Empfehlungssysteme bei der Interpretation medizinischer Bilder für die Diagnose profitieren können und erforschen nutzerorientierte KI-Systeme, die eine Beeinflussung medizinischen Entscheidungsfindung vermindern.

Zusammenfassung

Unser Konsortium untersucht die potenziellen Risiken eines übermäßigen Vertrauens in Maschinen. Wir konzentrieren uns auf die Interaktion zwischen Ärzt*innen und KI-basierten Empfehlungsdiensten bei der Interpretation medizinischer Bilder für die Diagnose. Wir evaluieren das angemessene Maß an Vertrauen, das menschliche Entscheidungsträger*innen benötigen, um von der Nutzung von KI-Systemen zu profitieren und gut informierte professionelle Entscheidungen zu treffen. Wir untersuchen ferner die kausalen Auswirkungen von institutionellen, situativen, individuellen und technologischen Parametern auf dieses Vertrauensniveau. Die Aussagekraft unserer Ergebnisse wird für eine Vielzahl von KI-Anwendungen in anderen Bereichen von Bedeutung sein und der öffentlichen Debatte über KI-Empfehlungsdienste eine neue Ebene hinzufügen. Im Einklang mit den Anforderungen human-zentrierter Gestaltungsprinzipien stellen wir die Ärzt*innen selbst sowie die Arzt-Patienten-Beziehung in den Mittelpunkt unserer Forschung und erforschen Designparadigmen für KI-basierte Empfehlungsdienste, die eine Kalibrierung des Vertrauens erlauben. Während Strukturen und Prozesse im medizinischen Bereich zunehmend an Maschinen angepasst werden, konzentrieren wir uns stattdessen auf die Frage, inwieweit sich Empfehlungsdienste in die bestehende Struktur der Verantwortlichkeit und Rechenschaft in der ärztlichen Praxis integrieren lassen. Dabei ergänzen wir unseren Ansatz um die Perspektive der Organisationsethik. Damit erweitern wir die wissenschaftliche Debatte über den Einsatz von Empfehlungsdiensten im medizinischen Bereich.