Das Forschungsprojekt A.I.SYL untersucht den wachsenden Einsatz von Künstlicher Intelligenz (KI) in Asylverfahren in Österreich. Ziel ist es, Chancen wie eine effizientere Bearbeitung sichtbar zu machen – gleichzeitig aber auch Risiken für Datenschutz und Grundrechte von Asylsuchenden kritisch zu analysieren.

Wir sprachen mit den Projektleiterinnen Laura Jung und Angelika Adensamer sowie asylkoordination-Vorstand und IT-Experten Wolfgang Salm.

Das Gespräch führte Herbert Langthaler.

asyl aktuell: Künstliche Intelligenz (KI) kann in der heutigen Diskussion sehr viel bedeuten. Was meint KI und mit welchen Anwendungen von KI beschäftigen Sie sich in Ihrem Projekt?

Laura Jung: Wir haben uns am Anfang des Projekts – das ist jetzt etwas über ein Jahr her – intensiv über den Begriffsansatz unterhalten, wie wir diesen Begriff verwenden und wie er von anderen verwendet wird. Wir haben dann gesehen, dass es in der Literatur keine Übereinstimmung gibt, was KI bedeutet und dass sich die Bedeutung über die Zeit sehr stark gewandelt hat. Durch den derzeitigen Hype wird von der Herstellerseite einfach KI auf jede Form von advanced data analysis draufgeschrieben.

Wir haben versucht, uns mit verschiedenen philosophischen Ansätzen auseinander zu setzen, was bedeutet Intelligenz im Sinne von Lernen, Adaption, komplexe Probleme lösen etc., aber dann haben wir uns der Praktikabilität halber an die Definition aus der KI-Verordnung gehalten, weil die breit ist und uns erlaubt viele Tools, die wir analysieren wollten, in unsere Recherche aufzunehmen.

aa: Und mit welchen Tools haben Sie sich bei der Studie konkret beschäftigt?

Angelika Adensamer: Wir haben uns mit der Datenträgeranalyse beschäftigt, die natürlich auch ohne KI funktioniert, aber wo jetzt immer wieder automatische Analysen angefügt werden, die automatische Gesichtserkennung also Gesichtsbiometrie, weiters automatische Übersetzung, intelligente Such- und Textverarbeitung – also alles, was generative Textarbeit ist und Dialekterkennung zur Herkunftslandbestimmung. Wir haben uns auch mit Sachen beschäftigt, die noch weiter in der Zukunft liegen, wie Lügendetektoren, automatische Risikoanalysen und ChatPods zur Einvernahme.

Also eine große Bandbreite – das sind, wie wir festgestellt haben, sehr unterschiedliche Dinge mit unterschiedlichen Problemen.

aa: Tools wie Gesichtserkennung oder automatische Übersetzung kommen also schon in der Praxis zum Einsatz. In welchem Stadium des Verfahrens?

LJ: Die Grundlage unserer Einsichten über die Verwendung sind die Antworten auf ein Auskunftsbegehren, das wir an das BMI gestellt haben. Bezüglich der Gesichtsbiometrie wissen wir das auch aus den GEAS-Gesetzestexten, in denen das immer wieder auftaucht. Das Ausmaß und die genaue Anwendung sind zurzeit noch nicht ganz klar – diesbezüglich muss man wahrscheinlich noch abwarten. Andere Tools kommen zur Anwendung, wenn es um die Feststellung der Identität und des Herkunftslandes geht.

AA: Es soll auch schon in der Datenträgeranalyse Dialekterkennung durchgeführt werden. In Deutschland wird das auch schon gemacht.

aa: Sie haben sich ja nur die Situation in Österreich angesehen, gibt es für Deutschland vergleichbare Studien?

LJ: Der Fall Deutschland ist für uns interessant, weil Deutschland bei Anwendungen wie Dialekterkennung und anderen Technologien eine Pionierrolle innehatte. Wir haben uns Dokumente und parlamentarische Anfragen angeschaut und auch mit Expert:innen gesprochen.

aa: Mit Expert:innen aus welchen Feldern haben sie Interviews geführt?

LJ: Wir haben mit vielen sehr kompetenten und spannenden Leuten gesprochen. Begonnen haben wir mit Fokusgruppen, weil wir Menschen, für die die Forschung konzipiert war – also Personen aus der Rechts- und Sozialberatung – von Anfang an einbeziehen wollten. Wir wollten Bedürfnisse abfragen und Erfahrungswerte von diesen Gruppen einholen. Da war auch Wolfgang Salm am Anfang (Ende Juni 2024) dabei. Unsere ersten Ansprechpersonen waren von der BBU, der Caritas und von einem Sozialberatungsverein in Graz sowie von Push-Back-Alarm.

AA: Wir hatten zu den einzelnen Themenbereichen mit Personen gesprochen, die sich auf bestimmte Bereiche spezialisiert haben wie Anna Biselli für die Dialekterkennung und Lucas Nunes Vieira aus England, der viel über automatische Übersetzung gearbeitet hat oder Matthias Leese aus Zürich, der auf europäischer Ebene zu den Großdatenbanken im Asylbereich forscht und Derya Ozkul, die viele Berichte zu KI im Migrationsbereich geschrieben hat. Border Monitoring Network haben wir auch befragt, dabei ging es um einen Bereich, den wir dann nicht mehr bearbeitet haben, nämlich die Überwachung der EU-Außengrenzen. Ivan Josipovic hat sehr viel zu Datenträgeranalyse im jetzigen österreichischen Recht geschrieben und Niovi Vavoula über interoperable Datenbanken. Ein weiterer Gesprächspartner war Chris Jones von State Watch. Mit der Staatendokumentation haben wir auch gesprochen, weil aus der Antwort des BMI auf unsere Anfrage hervorgegangen ist, dass vor allem bei der Analyse der Staatenberichte derzeit viele Anwendungen eingesetzt werden.

aa: Eine sehr umfangreiche Recherche.

Die Handreichung liegt jetzt auch schon vor. An wen richtet sich die Broschüre?

LJ: Sie war von Anfang an – schon bei der Einreichung – für Mitarbeiter:innen der Rechts- und Sozialberatung konzipiert. Wir kommen ja beide aus der Forschung zu Migration und Asyl und haben hier ein gewisses Ungleichgewicht festgestellt. Von staatlicher Seite fließen sehr viele Mittel in die Technologisierung, Versicherheitlichung und Hochrüstung während Mittel und Methoden zur Sicherung von Grundrechten zu kurz kommen, vor allem im gegenwärtigen Kontext, wo die Mittel für diese Stellen gekürzt werden. Es war uns von Anfang an ein Anliegen dieses Projekt so zu schreiben, dass es sich an Organisationen richtet, die Asylsuchende unterstützen. Also hier eine Hilfestellung zu leisten. Wir haben einen Bedarf gesehen, weil es bisher keine ähnliche Ressource gab – speziell für Österreich.

aa: Haben Sie den Eindruck, dass bei den neuen Asylverordnungen im Rahmen des GEAS Probleme, z.B. des Datenschutzes, die sich durch den Einsatz von KI stellen, berücksichtigt wurden?

AA: Ich habe mir ein paar Teile angeschaut, z.B. die Gesichtserkennung bei EURODAC und das Screeningverfahren, wo ganz viele Daten ganz am Anfang des Verfahrens gesammelt werden, für eine Gefährlichkeits- und Vulnerabilitätseinschätzung. Da gibt es verschiedene Berichte über Pläne, das zu automatisieren. In den Texten sind die Bestimmungen noch sehr vage, hier ist wahrscheinlich noch vieles möglich. Die Verordnungen sind ja direkt anwendbares EU-Recht und es gibt für die Nationalstaaten wenig Spielräume.

In der Sicherheitsverwaltung hier in Österreich ist man der Ansicht, dass die Bestimmungen technologieneutral sind. Die Gesichtserkennung wird auf Basis des Sicherheitspolizeigesetzes von 1990 eingesetzt, wo der Einsatz von KI noch in weiter Ferne lag. Daher wird behauptet, wir dürfen Gesichter erkennen und wir dürfen das mit jeder Technologie. Das finde ich problematisch.

Wolfgang Salm: Was war der Auslöser für euer Projekt?

LJ: Es gab eine Ausschreibung des Zukunftsfonds Steiermark im Herbst 2023 zu Technologiefolgenabschätzung von KI im Allgemeinen. Es ging darum, das Vertrauen in KI zu verbessern. Wir haben das so interpretiert, dass wir Vertrauen in diese Technologie schaffen, indem wir Transparenz und Handlungsmöglichkeiten aufzeigen, um einen rechtskonformen Umgang mit dieser Technologie zu ermöglichen.

WS: Das Projekt hat ja aufgezeigt und man sieht es auch in der Handreichung, dass noch sehr unklar ist, in welchem Rahmen das alles passiert und wie unsicher der Bereich noch ist. Es scheint mir, dass es in diesem Rechtsbereich noch lange nicht so weit ist, dass man KI einsetzen kann.

LJ: Wir sind in einer totalen Umbruchphase sowohl technologisch als auch rechtlich. Es ist insofern ein interessanter Zeitpunkt, das Projekt zu machen. Wenn wir das in zwei Jahren wieder machen würden, würden wir wohl zu ziemlich anderen Ergebnissen kommen.

aa: Eine Frage zu diesen Entwicklungen: Sie beschäftigen sich schon länger mit dieser Thematik. Hat es durch den vermehrten Einsatz von bestimmten KI-Anwendungen irgendwann einmal einen qualitativen Umschlag gegeben und worin besteht der?

LJ: Ich kann das auf Grund unserer Ergebnisse nicht so genau beantworten. Allgemein formuliert waren es die Menge der Daten verbunden mit der gesteigerten Rechenleistung, die Fortschritte beim Maschinenlernen ermöglichten. Vor allem durch den Einsatz von deep neural networks bzw. deep learning gab es in den vergangenen Jahren enorme Fortschritte. Unsere Projektergebnisse zeigen, dass in die Entwicklung von large language models (LLM) und damit verbunden in die Übersetzungstechnologien sehr viel investiert wird. Wir alle arbeiten mit diesen Tools und sehen, wie sie von Monat zu Monat präzisere und plausiblere Ergebnisse liefern und gleichzeitig sind sie natürlich nicht vollkommen verlässlich. Gleichzeitig wissen wir sehr wenig darüber, wie von institutioneller Seite Qualitätskontrollen oder Fehlerkorrekturmechanismen eingesetzt werden. Wir haben mit Kolleg:innen vom Roten Kreuz gesprochen, die uns dargelegt haben, wie sie diese Tools anwenden und wie engmaschig sie damit umgehen. Von Seiten des BFA wissen wir zwar, dass daran gearbeitet wird und dass es in der Testphase ist, aber wir wissen nicht, ob ähnliche Qualitätskontrollen vorgesehen sind.

WS: Wir alle verstehen, dass man diese Anwendungen einsetzen will – bei den Übersetzungstools sind die Fortschritte ja wirklich gewaltig. Aber wenn wir zu den LLM kommen und die generative Masche ansprechen, dann ist es eher gefährlich – wir alle sehen immer wieder, wie die Anwendungen halluzinieren. Laut ChatGPT bin ich ein deutscher Komiker. Es stellt sich die Frage, ob das die Realität abbildet. Ich befürchte, dass wir von der Staatendokumentation des BMI keine Informationen bekommen werden, wie engmaschig sie ihre Ergebnisse prüfen. Und aus der Vergangenheit wissen wir, dass öfter Verhältnisse in Herkunftsländern beschönigt wurden, und man müsste wohl die Quellen genau prüfen und da die KI sehr schnell auf sehr viele Quellen zugreifen kann, potenziert das dann natürlich den Überprüfungsaufwand.

LJ: Wenn in der Staatendokumentation diese LLM angewendet werden, können wir uns genau überlegen, wie wir damit umgehen, das steht dann in den Bescheiden und das muss eng gelesen werden und wenn man merkt, da ist ein Fehler drinnen, dann kann man darauf reagieren. Wenn allerdings diese deep neural networks (eine Form des maschinellen Lernens) in der Risikoanalyse verwendet werden, wissen wir überhaupt nicht mehr, welche Datenkombination zu dem Ergebnis einer Risikoanalyse geführt hat. Das ist dann eine ganz andere Qualität von Herausforderung, die sich ergibt.

WS: Wir wissen, dass Rechtsberater:innen in diesem Bereich nicht die Zeit haben, die Ergebnisse der Staatendokumentation zu überprüfen.

aa: Gibt es auch positive Seiten der KI-Anwendungen? Welche Potentiale gibt es beim Einsatz von KI im Asylbereich?

LJ: Wir sind in unserer Einleitung zu dem Schluss gekommen, dass wir den Einsatz von keinem der Tools vorbehaltlos empfehlen können, weil bei allem die Risiken zu hoch sind (Datenschutz, Privatsphäre, Fehler). Trotzdem sind wir zu dem Schluss gekommen, dass es bei bestimmten Tools so großen Bedarf gibt, dass sie durchaus einen sinnvollen Beitrag leisten können. Einerseits im Bereich der Übersetzung und dann bei verschiedenen Formen der Textarbeit und nicht nur auf der Seite des BFA, sondern auch bei den Beratungsorganisationen. Es kann ein Vorteil sein, wenn sie richtig eingesetzt werden.

AA: Die Risiken sind sehr unterschiedlich, weil die Anwendungen so unterschiedlich sind. Zum Beispiel besteht die Gefahr, dass Minderheiten diskriminiert werden. Zum Beispiel bei der Dialekterkennung, die besser funktioniert für Personen, die größeren Gruppen angehören als bei Minderheitensprachen. Bei der Gesichtserkennung ist es auch so, dass es große Unterschiede zwischen Personengruppen gibt, für die es besser oder weniger gut funktioniert.

Ich glaube auch, dass eine besondere Gefahr ein blindes Vertrauen in die Technik ist, dass Ergebnisse sowohl von den Behörden weniger überprüft werden und auf der anderen Seite weniger überprüfbar wird, weil man nicht genau weiß, was die Systeme machen, wie sie arbeiten. Die Bandbreite der Probleme trifft natürlich nicht auf alle Anwendungen zu, es kann von Fall zu Fall sehr unterschiedlich sein.

aa: Gibt es besonders problematische Szenarien, die Sie sich ausgemalt haben? Einen Worst-Case sozusagen.

AA: Worst-Case sind tatsächlich immer weiter automatisierte Bescheide, die dann nicht mehr überprüfbar werden. In der Finanzverwaltung gibt es das schon länger und die Akzeptanz für so etwas könnte durchaus steigen, wenn sich die Technik so entwickelt und es Erfahrungen gibt, die zu dem Schluss verleiten könnten, warum nicht auch Bescheide und ihre Begründungen automatisch erstellen? Das sind so Vorstellungen von einer effizienten Verwaltung, und man muss aufpassen, dass das nicht in so einen grundrechtssensiblen Bereich hereinkommt.

WS: Ich bin mir dabei ja auch nicht ganz sicher, wenn es zu einer Beschleunigung und Vereinfachung des Verfahrens kommt und es auch noch kostengünstig ist. In Norwegen werden inzwischen seit einigen Jahren alle Verlängerungen des Aufenthalts automatisch gemacht und das funktioniert gut. Wenn ich mir überlege, wie lange in Österreich Staatsbürgerschaftsverfahren dauern. Zirka zwanzig Datenpunkte zu kontrollieren, dauert oft mehrere Jahre und inzwischen haben sich diese schon verändert, was zu weiteren Verzögerungen führt. Ich kann mir schon vorstellen, dass die Daten (Wohnungsgröße, Strafregister, Einkommen) automatisch abgefragt werden. Das würde dann in einem Nachmittag erledigt sein und nicht Jahre dauern. Wir werden hier schon einige Automatisierungen sehen, die dann auch zu automatischen Bescheiden führen. Solange es nachvollziehbar ist, ist dagegen nichts einzuwenden.

LJ: Wir haben ja oft in den Gesprächen und bei Veranstaltungen diskutiert, dass es sehr viele tolle Möglichkeiten gibt, diese neuen Technologien einzusetzen. Und zwar so, dass Menschen unterstützt und Verfahren schneller gemacht werden. Aber das ist offensichtlich nicht das Ziel, wofür diese entwickelt und betrieben werden.

Ich möchte noch etwas zu diesen Worst-Case-Szenarien sagen. Viele sind typische Fluchtgeschichten. Zum Beispiel bei der Datenträgeranalyse, wenn ein Gerät, z.B. ein Handy, von mehreren Personen benutzt wird oder nicht zurückgesetzt wurde und noch Daten von Vorbesitzer:innen drauf sind, kann das diese Analyse total durcheinanderbringen.

Oder bei der Dialekterkennung funktionieren diese Tools schlechter für Personen, die einer Minderheit angehören. Das sind dann auch möglicherweise gerade Personen, die stärker gefährdet sind, verfolgt zu werden und flüchten zu müssen.

aa: Die Problematik bleibt bestehen, dass bei komplexen individuellen Geschichten, standardisierte Systeme nicht greifen, und ob es dann problematische Gutachter:innen sind oder eine KI-Anwendung macht dabei wenig Unterschied.

WS: Änderungen in der Verwaltung sind schwierig. Es gibt das Projekt der asylkoordination, die Verfahrensbeobachtung. Eine der Empfehlungen aus diesem Projekt war, die Art der Protokollierung zu ändern. Heute gibt es nur ein Resümeeprotokoll, das nicht immer dem entspricht, was zwischen Richter:in und Beschwerdeführer:in und Dolmetscher:in stattgefunden hat, und am Ende des Tages zählt das, was auf dem Papier steht. Ich könnte mir sehr gut vorstellen, dass parallel dazu ein KI-Protokoll zum elektronischen Akt gelegt wird. Das ist relativ einfach und würde im Falle einer Revision zusätzliches Material liefern, um ein faireres Verfahren zu garantieren.

AA: Was man nicht glauben darf, dass Missstände, wie wir das in Vergangenheit und auch jetzt noch von einzelnen Gutachter:innen oder Länderanalysen kennen, durch die KI beseitigt werden. Diese Missstände sind ja Teil eines Systems, wo es politische Entscheidungen gibt, ob Menschenrechte gewahrt oder tendenziell abgebaut werden. In dem gleichen System werden dann auch diese Technologien eingesetzt. Gäbe es einen starken politischen Willen, solche Missstände zu bekämpfen, dann könnte diese Technologie vielleicht dabei helfen, aber solange das nicht der Fall ist, wird eine Technologie dies nicht von Grund auf ändern.

Das Projekt A.I.SYL wurde von einem Team aus Expert:innen der Universität Graz (Zentrum für Südosteuropastudien) und des Instituts VICESSE in Wien durchgeführt.

Teil des Projekts war die Erarbeitung einer Handreichung für die Praxis der Rechts- und Sozialberatung. Gedruckte Exemplare können bestellt oder die Handreichung als PDF von der Website heruntergeladen werden https://aisyl.uni-graz.at/de/handreichung/.

Auch die Beantwortung der Anfrage an das BMI findet sich auf der Website. https://aisyl.uni-graz.at/de/auskunftsbegehren/

Finanzierung: Steirischer Zukunftsfonds und Uni Graz