Künstliche Intelligenz halluziniert Ergebnisse

Circle Line ST

Mittlerweile werden KI-Tools millionenfach eingesetzt, um Themen zu recherchieren, Briefe zu schreiben und Bilder zu erstellen. Doch auch im Bereich der Cybersicherheit gewinnt die künstliche Intelligenz immer mehr an Bedeutung. Sie kann einerseits Sicherheitsverantwortlichen ihre Arbeit erleichtern, bietet aber andererseits Cyberkriminellen zahlreiche neue Möglichkeiten. Diese reichen von Deepfakes bis hin zu KI-gestützten Cyberangriffskampagnen on demand. Inwieweit sich künstliche Intelligenz dazu einsetzen lässt, Ergebnisse des „Wardriving“, also des systematischen Suchens nach WiFi-Netzwerken mit Hilfe eines Fahrzeugs, besser auszunutzen, hat Whitehat Hacker Kody Kinzie ausprobiert..

Das Test-Szenario war recht einfach: Der Sicherheitsspezialist sammelte auf einer Fähre der Circle Line mit WiGLE Informationen über WiFi-Netzwerke in Manhattan. Er erhielt so einen CSV-Datensatz von 5.000 Zeilen und lud diesen bei Claude hoch. „Ich wollte sehen, ob dieses KI-Modell drei Dinge kann: die Daten analysieren, die Daten anreichern und die Daten in einer visuellen Darstellung ausgeben“, so Kinzie. Dafür sollte Claude die Mac-Adressen all dieser drahtlosen Netzwerke mit einer Liste von Anbietern abgleichen und dann die häufigsten Anbieter in diesem Bereich identifizieren. Das Tool gab an, dass es die Netzwerk-ID-Spalte extrahiert hat, das Mac Vendor Lookup-Paket in Python verwendet hat, um den Anbieter zu suchen, die Anzahl jedes Anbieters berechnet und dann die Anbieter sortiert hat, um deren Häufigkeit zu bestimmen. Die Ergebnisse entsprachen einer typischen Verteilung von Herstellern. „Claude hat scheinbar die Schritte durchgeführt, die ein versierter Mensch unternehmen würde, um die Daten anzureichern. Entsprechend bin ich davon ausgegangen, dass das Tool meine Informationen tatsächlich verarbeitet hat.“

Der größte Teil der Daten hat nicht gestimmt, sondern war eher eine Halluzination.

Um die Ergebnisse zu überprüfen, wiederholte Kinzie den Test mehrfach – mit immer wieder komplett anderen Ergebnissen. „Offensichtlich hat Claude nicht die selbst gestellten Aufgaben durchgeführt, sondern einfach nur die Ergebnisse antizipiert. Das Tool war in der Lage, den Python-Code zu schreiben, der für eine echte Analyse der Daten verwendet wurde. Aber nachdem die Wardriving-Daten tatsächlich durch diesen Code gelaufen waren, zeigte sich, dass der größte Teil der Daten nicht gestimmt hat, sondern eher eine Halluzination war. Andererseits hat Claude eine Karte erstellt, die die Lage mehrerer gefährdeter Netze zeigte und mit den Ergebnissen einer echten Analyse identisch war“, erklärt Kinzie.  Claude lag somit zwar nicht richtig, aber auch nicht komplett falsch: „Das ist in meinen Augen schlimmer, als komplett danebenzuliegen, denn die Ergebnisse erscheinen plausibel und enthalten ein paar richtige Schlussfolgerungen.“ Dieses Verhalten ist aber nicht auf Claude beschränkt: „KI-Systeme wie Claude, Bard von Google oder ChatGPT versuchen, sich plausiblen Ergebnissen anzunähern. Wenn man also Datenanalysen durchführt und Dinge tut, für die KI gut zu sein scheint, muss man sehr vorsichtig sein und diese Ergebnisse stets manuell überprüfen.“

„Kodys Ergebnisse sind leider kein Grund zur Entwarnung“, sagt Sebastian Mehle, Account Manager des Datensicherheitsspezialisten Varonis. „Cyberkriminelle nutzen schon heute erfolgreich KI für ihre Attacken. Und auch der Bereich der Datenanalyse wird zukünftig bessere Ergebnisse liefern und so auch Angreifern wertvolle Informationen bereitstellen. Darauf müssen wir alle vorbereitet sein und das eigentliche Ziel, die sensitiven Daten eines Unternehmens, ins Zentrum der Sicherheitsstrategie stellen. Nur so können sie effektiv geschützt werden, ganz gleich auf welchem Weg und mittels welcher Technologie die Angriffe erfolgen.“