In der digitalen Transformation geht es längst nicht mehr nur darum, Systeme zu entwickeln, die technisch effizient sind. Heutige IT-Lösungen müssen auch den Menschen und dessen Werte im Mittelpunkt stellen. Bei der Aschauer IT & Business GmbH verfolgen wir diesen Ansatz durch die Anwendung der Value-Based Engineering (VBE) Methode, insbesondere in einem Forschungsprojekt gemeinsam mit der WU Wien unter der Leitung von Dr. Sarah Spiekermann wo wir den AMS Berufsinfomat untersucht haben, welches den Grundstein für eine wertorientierte Weiterentwicklung von KI-gestützten Beratungsdiensten legt.

Value-Based Engineering (VBE) ist ein Ansatz zur Systementwicklung, der darauf abzielt, menschliche Werte im Design von IT-Systemen zu schützen und zu fördern. Er basiert auf der Norm ISO/IEC/IEEE 24748-7000, die rechtlichen Prinzipien sowie die Erwartungen der Bürger in konkrete technische und organisatorische Maßnahmen übersetzt. VBE bietet einen systematischen Prozess zur Bewertung, wie Technik positive Werte schaffen kann und wo Risiken oder mögliche Wertverluste für die betroffenen Stakeholder bestehen.

© Institute for IS & Society, WU Vienna, 2024

Unser Fokus im Forschungsprojekt des AMS Berufsinfomat war es, die Wertschöpfung durch die Antworten der KI in den Dialogen zu untersuchen. Dies bedeutet, nicht nur den funktionalen Nutzen der KI zu evaluieren, sondern auch soziale Aspekte wie Höflichkeit, Sensibilität, Umsicht, Stimmigkeit, Aufmerksamkeit und Fairness zu berücksichtigen.

Die Einführung des AMS Berufsinformat hatte das Ziel, arbeitssuchende Bürger besser bei der Berufswahl zu unterstützen. Dabei ging es darum, zu verstehen, welche Werte durch den Einsatz einer KI gestützt und welche unter Umständen verletzt werden könnten. Dies ist insbesondere im Hinblick auf den EU AI-Act von Bedeutung, der den ethischen Einsatz von KI regelt.

Um sicherzustellen, dass die eingesetzte KI einen tatsächlichen Mehrwert bietet, haben wir mit einem umfassenden Wertemonitor gearbeitet, der die Wertqualitäten der Dialoge systematisch dokumentiert. In einer ersten Phase der quantitativen Prüfung, bei der Daten aus Februar und März 2024 verwendet wurden, wurden über 5.000 Prompts analysiert und anschließend 1.800 Dialoge für die zweite Phase herangezogen und tiefergehend bewertet. Mit menschlicher Codierung wurden schließlich 593 Prompts und 187 Dialoge im Detail analysiert. Hinweis: Mittlerweile wurde eine neue und optimierte Version des AMS Berufsinfomaten gelauncht im Mai 2024, welche nicht mehr in dem gegenständlichen Projekt berücksichtigt werden konnte.

Welche Werte entstehen beim Gespräch mit KI?
Das Institute for IS & Society, WU Vienna mit Unterstützung von Aschauer IT haben ein Benchmarking Tool entwickelt, um den Wertbeitrag von KI-Dialogen zu messen:

• Klarheit: Unsere Analyse hat gezeigt, dass präzise und transparente Antworten der KI entscheidend für eine positive Nutzererfahrung sind und zu einer deutlich höheren Zufriedenheit führen.

• Wahrhaftigkeit: Die Analyse ergab, dass faktisch korrekte und auf die Nutzerfragen abgestimmte Antworten wesentlich zum Vertrauen in die KI beitragen und den Wert der Beratung maßgeblich erhöhen.

• Konstruktivität der KI-Antworten: Die Analyse zeigte, dass die Antworten der KI oft hilfreich und praktisch waren, jedoch in einigen Fällen auch naiven oder unrealistischen Rat enthielten, was zu einer Einschränkung des Nutzens führte.

• Soziale Werte: Die soziale Annehmbarkeit, also wie die KI den Nutzer behandelt, ist ein entscheidender Faktor für die Akzeptanz der Technologie. Beispielsweise zeigte sich, dass die Wahrnehmung von Respekt und die Wahl der richtigen Höflichkeit wesentliche Einflussfaktoren sind.

Eine mögliche Ausbaustufe unseres Projekts wäre die Entwicklung eines Value Registers, das die identifizierten Werte und Optimierungspotenziale systematisch dokumentieren könnte. Auf Basis dieser Werte ließen sich dann Ethical Value Requirements (EVRs) formulieren – ethische Anforderungen, die sicherstellen sollen, dass die KI die sozialen und ethischen Erwartungen der Nutzer erfüllt.

Beispielsweise wurde festgestellt, dass die KI manchmal Informationen aus vorherigen Benutzereingaben vergaß. Hieraus wurde die Anforderung abgeleitet, dass die KI ihre Vergesslichkeit transparent machen sollte und proaktiv darauf hinweisen muss, um das Vertrauen der Nutzer zu erhöhen.

Das Value-Based Engineering bietet einen klaren Mehrwert für die Weiterentwicklung von KI-basierten Systemen. Unsere Erkenntnisse haben gezeigt, dass es möglich ist, menschliche Werte systematisch in den Entwicklungsprozess zu integrieren und dabei sowohl die rechtliche Konformität als auch die soziale Akzeptanz der Technologie sicherzustellen.

Wir bedanken uns beim Arbeitsmarktservice Österreich und Dr. Johannes Kopf und Josef Füricht (GoodGuys) für die Möglichkeit diese zukunftsträchtige Methode anhand eines gesellschaftlich bewegenden realen KI-Projekt ausprobieren zu dürfen und bei der ausgezeichneten Zusammenarbeit mit der WU Wien unter Leitung von Prof. Dr. Sarah Spiekermann.

Für die Zukunft streben wir an, weitere Projekte mit der VBE-Methode zu begleiten und die gewonnenen Erkenntnisse aus der Praxis in die Weiterentwicklung dieser Methodik einfließen zu lassen. Das Ziel ist es, dass Technologie nicht nur effizient, sondern auch ethisch und sozial wertvoll eingesetzt wird – zum Wohl der Gesellschaft und im Einklang mit den Erwartungen der Bürger.

Hier geht es zum Beitrag KI Werte-Monitor der WU Wien – Wirtschaftsinformatik und Gesellschaft.