Machine Learning: Was bedeutet Accuracy und Precision?

Die Leistungsfähigkeit eines Machine Learning Systems messen

Machine Learning ist ein Teilgebiet der künstlichen Intelligenz und befasst sich mit der Verbesserung von Problemlösungen durch Computer, ohne dass ein Mensch dieses Verhalten programmieren muss. Der Computer nimmt Daten mit erwünschten Zusammenhängen auf und lernt, diese Zusammenhänge bei neuen Daten selbst herzustellen.

Wir möchten euch die Unterschiede anhand eines Beispiels über die Erkennung von Bankräubern auf den Bildern von Überwachungskameras erklären.

Das System erhält viele Bilder von Bankbesuchern und zu jedem Bild die Information, ob es sich um einen Bankräuber handelt oder nicht. Das Modell zur Aufnahme dieser Informationen kann ganz verschieden sein. Ob es sich um ein neuronales Netz, ein Bayes’sches Netzwerk oder ein anderes System handelt, Du willst die Leistung des Systems an seinen Ergebnissen messen können. Dazu kannst Du Kennzahlen verwenden, aber Du solltest Dir darüber klar sein, was genau diese aussagen. Eine der verwendeten Maßzahlen ist die Accuracy.

Was ist Accuracy beim Machine Learning?

Im Machine Learning ist Accuracy definiert als der Anteil von korrekten Vorhersagen an allen getroffenen Vorhersagen. Das scheint als Maß für die Leistungsfähigkeit eines Machine Learning Systems ausreichend, was sich allerdings bei genauerer Betrachtung als unvollständig herausstellt.

Betrachte als Beispiel ein System zur Erkennung von Bankräubern auf Bildern einer Überwachungskamera. Der Prozentsatz an Räubern ist sehr klein, also ist die Accuracy sehr hoch, wenn einfach alle Bankkunden als ehrlich beurteilt werden. Das System ist dann so trivial wie nutzlos. Ohne irgendeine Leistung erlaubt es jeder Person den Zutritt und damit natürlich auch jedem Bankräuber.

Was ist Precision beim Machine Learning?

Als Maßzahl ist Precision definiert als der Anteil der korrekten positiven Vorhersagen von allen als positiv klassierten Fällen. In unserem Beispiel ist das also der Anteil der wirklichen Bankräuber an allen als Räuber eingeschätzten Bankbesuchern.

Dieses Maß ist geeignet, die Kosten von falschen positiven Einschätzungen zu erfassen. Würde etwa jeder als Bankräuber eingeschätzte Besucher automatisch unter Beschuss genommen, hätten falsch positiv beurteilte Fälle sehr hohe Kosten. Eine niedrige Precision bedeutet, dass viele als Bankräuber eingeschätzte Personen gar keine sind.

Wie hängen diese Kennzahlen zusammen?

Accuracy ist ein gutes Maß, wenn die zu unterscheidenden Fälle alle zu etwa gleich großen Gruppen gehören. Im Beispiel mit den Bankbesuchern ist das nicht der Fall. Berücksichtigt werden sollten auch die Auswirkungen eines Fehlers, denn diese sind oft keineswegs vergleichbar negativ. Einen ehrlichen Bankkunden nochmals zu überprüfen ist viel weniger gravierend als einem Bankräuber Zutritt zu gewähren.

Precision misst den Aufwand, falsch als positiv beurteilte Fälle zu behandeln. Je nach Anwendung kann das eine nochmalige Überprüfung oder etwas unvergleichlich Gravierenderes sein.

Fazit

Die Kennzahlen Accuracy und Precision sind für sich genommen nicht sehr aussagekräftig. Welche Maßzahl relevant ist, hängt entscheidend von der jeweiligen Anwendung ab.

Titelbild: bagotaj @ adobe Stock