Was brauchen wir wirklich, um zu vertrauen?

Maschinelles Lernen (ML), Vertrauen und Verlässlichkeit

28. Dezember 2021

SInd Vorhersagen von KI-Systemen irreführend oder können wir uns auf sie verlassen? Als Beispiel aus der Praxis schauen wir uns in diesem Beitrag den Umsatz um das Weihnachtsgeschäft anhand von Zeitreihenvorhersagemodellen an.

Autor: Manu Somasagar Kamalakar

Erklärbarkeit von ML-Modellen

Neues Jahr, neues Glück und neue Vorhersagen mit Künstlicher Intelligenz (KI)! Dieses Mal befassen wir uns hier im Blog mit der Frage, inwiefern Vorhersagen von KI-Systemen irreführend oder missverständlich sein können – besonders, wenn das Modell selbst keine Erklärungen liefert [1].

Dafür haben wir ein Zeitreihenvorhersagemodell entwickelt, das uns als Anschauungsbeispiel dient (Abbildung 1). Nehmen wir an, wir haben ein Zeitreihenvorhersagemodell trainiert, das den Gewinn eines Supermarktes vor Weihnachten vorhersagt.

© Fraunhofer ITWM
Abbildung 1: Die blaue Kurve stellt bekannte Werte dar. Die vorhergesagten Werte sind in Orange dargestellt (hellere orangefarbene Kurven kennzeichnen die Grenzen der Konfidenzintervalle) [2].

Zuverlässigkeit von KI-Systemen

Im Idealfall steigt der Gewinn der Supermärkte in der Weihnachtszeit, weil sich die Zahl der Kundinnen und Kunden in Supermärkten ebenso erhöht, wie die Anzahl der verkauften Produkte. Wenn wir das Vorhersagemodell basierend auf den historischen Daten trainieren, erwartet das Modell, dass der Gewinn in der Weihnachtszeit steigt. Dies könnte jedoch in der realen Welt irreführend oder gar falsch sein, denn es unterliegt 2021 verschiedenen externen Faktoren, etwa der Zahl der COVID-Fälle, staatlichen Vorschriften usw. In diesem Beispiel bleibt also die Frage, wie sehr wir uns auf ein KI-System verlassen können, eher unbeantwortet.

Bereits im Jahr 2020 lieferten die Modelle keine guten Prognosen [3], denn es war das erste Jahr der Pandemie. Alles, was in diesem Jahr mit den Verkäufen geschah, unterschied sich von allem, was zuvor von ML-Modellen beobachtet wurde. Trotzdem: Dies kam für Weihnachten 2021 nicht unerwartet. Im dritten Jahr der Pandemie »kennen« die meisten Modelle die Situation bereits und sind vorbereitet. Sie verfügen über erste historische Daten, um ein »COVID19-Muster« zu erkennen und daraus zu lernen. Allerdings wird es immer wieder Situationen wie unerwartete Lockdowns, Shutdowns, Infektionsraten usw. geben, die das Prognostizieren erschweren.

Krisengewinner:innen während Corona

Auch dabei gibt es Sonderfälle: Die Verkäufe sind aufgrund der Pandemie zwar zurückgegangen [4], aber die Verkäufe sind nicht für alle Produkte gleich gefallen. Einigen Unternehmen ist es gelungen, durch den Online-Handel zu punkten. Während COVID für viele Firmen ein finanzielles Desaster war (z. B. für die Automobilindustrie) [5], ist es anderen gelungen, dennoch Profit aus der Situation zu ziehen, beispielsweise der Unterhaltungsindustrie, insbesondere Streaming-Plattformen [6].

Abbildung 2: Weltweite Google-Suchen und COVID 19. Entnommen aus [7] Daten vom Johns Hopkins Coronavirus Center.

Wie in Abbildung 2 zu sehen ist, stehen die Suchergebnisse in direktem Zusammenhang mit dem Anstieg der COVID-Fälle. Nun stellen wir uns folgende Fragen:

Was können wir von einem transparenten ML-Modell erwarten, das Erklärungen für seine eigenen Vorhersagen liefert?
Was wäre anders, wenn statt eines Modells, welches Vorhersagen macht, die weit von der Realität entfernt sind, genauere Vorhersagen getroffen worden wären (bessere Anpassungsfähigkeit an Veränderungen)?
Es gibt sicher solche Modelle, die genauere Vorhersagen ermöglichen. So existieren beispielsweise einige Algorithmen für Maschinelles Lernen, die nicht nur aus den Ereignissen vor langer Zeit lernen, sondern auch aus jüngeren Daten und ihre Prognosen selbstständig anpassen. Dennoch:
Wäre eine solche Anpassung schnell genug passiert?
Hat das Modell überhaupt alle relevanten Informationen, um sich anzupassen?
Brauchen wir eine genauere Prognose? Natürlich hilft ein genaueres Modell. Wir hätten wissen können, dass Umsätze sinken, und hätten deshalb weniger investiert. Aber wie gesagt, meist beschreibt eine Kennzahl oder Parameter eben in den meisten Situationen nicht die reale Welt. Denn die echte Welt ist komplex. Ein solches Modell hilft uns nicht weiter. Aber:
Was wäre, wenn wir in der Lage wären, dem Modell alle relevanten Informationen zur Berechnung zu geben?
Was wäre, wenn das Modell stattdessen selbst »Erklärungen« geliefert hätte? Vielleicht hätten wir in Produkte investieren können, die sich besser verkaufen lassen?

Lassen Sie uns verlässliche Modelle entwickeln, die wirklich helfen, indem wir aus dem Feedback lernen, das nicht nur richtig oder falsch ist, sondern auch Informationen darüber enthält, warum es überhaupt als falsch bewertet werden muss. Das wird sicher nicht einfach.

Referenzen

[1] Importance of Interpretability | Interpretable Machine Learning (christophm.github.io).
Doshi-Velez, Finale, and Been Kim. »Towards a rigorous science of interpretable machine learning,« no. Ml: 1–13. (2017).

[2] Magoosh Statistics Blog

[3] Artikel »Das Scheitern der COVID-19-Prognose und was wir daraus gelernt haben«

[4] Auswirkungen der Coronavirus-Pandemie (COVID-19) auf den Einzelhandelsumsatz im Jahr 2020 des nationalen Statistikamts

[5] Covid und die Auswirkungen auf den Automobilsektor

[6] Boom der Streaming Platformen

[7] Globale Google Suchmuster

zur Blog-Übersicht

Blog-Eintrag