USA: Schüler werden mit KI zur Suizid- und Gewaltprävention überwacht

Bild: pxhere.com/CC0

In die von Schulen ausgegebenen Notebooks werden oft mit Filtern auch KI-Programme installiert, die das Verhalten analysieren. Ein Experiment zur Verhaltenskontrolle.

In Schulen in den USA werden mitunter Schulgeräte wie Notebooks oder Tablets mit KI-Programmen ausgestattet, um anhand der von den Schülern eingetippten Texte zu erraten, ob diese Selbstmordpläne ausbrüten. Betroffen sein sollen bereits Millionen Schüler. Jedes Wort und jede Aktivität wird ausspioniert, um ein mögliches Risiko zu entdecken. Womöglich steht dann die Polizei vor der Haustüre, auch mitten in der Nacht. Oder ein Kind wird aus der Klasse geholt, um es zu überprüfen. Natürlich gibt es Fehlalarme, die auf die Jugendlichen traumatisierend wirken.

Zum Hintergrund: Selbstmord ist die zweithäufigste Todesursache bei den 15-19-Jährigen in den USA und bei den 14-15-Jährigen die häufigste Todesursache. Auch bei den 10-24-Jährigen ist Selbstmord die zweithäufigste Todesursache, 2020 töteten sich in dieser Altersgruppe über 7000 Personen. Seit 2000 ist die Suizidrate kontinuierlich angestiegen, nur 2019 und 2020 ist sie vorübergehend gesunken, ab 2021 steigt sie wieder. Zwischen 2000 und 2021 stieg die Suizidrate um 63 Prozent, in der Gesamtbevölkerung nur um 37 Prozent. In dem Alter sind mehr Mädchen als Jungen betroffen.

„Nahezu alle Indikatoren für eine schlechte psychische Gesundheit sowie für Selbstmordgedanken und -verhalten haben sich von 2013 bis 2023 verschlechtert“, heißt es in einem Bericht der CDC von 2024. „Insbesondere stieg der Prozentsatz der Schüler, die anhaltende Gefühle von Traurigkeit oder Hoffnungslosigkeit empfanden, ernsthaft einen Selbstmordversuch in Erwägung zogen, einen Selbstmordplan schmiedeten und einen Selbstmordversuch unternahmen.“ 2023 sind allerdings die Selbstmordpläne und die versuchten Selbstmorde leicht zurückgegangen. 20 Prozent der Schüler an High Schools sollen 2023 ernsthaft überlegen, einen Suizid zu begehen, 16 Prozent planten einen Suizid, 9 Prozent haben einen versuchten Selbstmord begangen, 2 Prozent der Schüler mussten deswegen medizinisch behandelt werden. Zum Vergleich in Deutschland: „Bei den 10- bis unter 25-Jährigen war Suizid im Jahr 2023 die häufigste Todesursache, vor Verkehrsunfällen und Krebs. 18 % aller Todesfälle in diesem Alter waren Suizide.“

Es kann also verständlich sein, dass in Zeiten der Prävention auch versucht wird, Technik einzusetzen, die Selbstmorde verhindern soll. KI-Programme zur Entdeckung von Suizidabsichten hätten sich während der Covid-Zeit schnell verbreitet, da mehr Schulen die Schüler mit Notebooks für den Online-Unterricht ausstatteten, wie die New York Times berichtet. Die Geräte wurden mit Filtern ausgestattet, um eine sichere Internetnutzung durch Blockade von jugendgefährdenden und unerwünschten Webseiten zu gewährleisten. Sie werden also auf den Geräten in einer Blase abgeschottet. Um da noch mehr Schutz zu bieten, griffen die Firmen, die die Filter anbieten, eben auch vermehrt zu KI-Programmen, die das Online-Verhalten und die Online-Aktivitäten ausspähen, um Verdächtiges zu erkennen.

Ein Beispiel ist GoGuardian Beacon, womit nach der Firma angeblich seit 2020 18.623 Schüler abgehalten wurden, sich selbst körperlich zu schädigen. Das Programm soll aber auch erkennen, wenn ein Schüler andere gefährden könnte: „GoGuardian Beacon continuously monitors online activity across school-issued devices, search engines, web apps, Gmail, and more to proactively detect concerning behavior.“ Man kann einstellen, wer Warnmeldungen erhalten soll, Schulleiter, Mitarbeiter der Schulen und Eltern, und welche Verhaltensmuster wie aktive Planung, Suizidgedanken, Selbstschädigung, Bedrohungen, Gewalt entdeckt werden sollen. Eine andere Firma ist Lightspeed, die mit ihrem KI-Programm verspricht: „74 % der tragischen Schießereien an Schulen gehen auf Online-Indikatoren zurück, die von Lightspeed Alert und Sicherheitsspezialisten hätten erkannt werden können.“ Warnungen werden hier von „Sicherheitsspezialisten“ geprüft, bevor sie weitergeschickt werden.

Das Problem ist, dass nur die Firmen wissen, wie die Programme arbeiten und dass es auch keine Daten über ihre Effizienz gibt, wie NYT schreibt. Wissenschaftler des Else Kröner Fresenius Zentrum (EKFZ) für Digitale Gesundheit der Technischen Universität (TU) Dresden haben ein KI-Programm getestet, ob aus Anamnese-Texten  suizidgefährdete Patientinnen und Patienten frühzeitig erkannt werden können: “Wir konnten zeigen, dass Hinweise auf Suizidalität bei Patientinnen und Patienten automatisiert aus elektronischen Gesundheitsakten extrahiert werden können – mithilfe von großen Sprachmodellen. … Mögliche Anwendungen in der Klinik umfassen Frühwarn- und Überwachungssysteme für psychiatrische Notfälle, eine verbesserte Qualitätssicherung sowie die Analyse von psychiatrischen Symptomen innerhalb großer Datenmengen.”

Ganz davon abgesehen, dass Millionen von Schülern zu Versuchspersonen in einem Experiment werden, um Verhaltensvorhersagen zu entwickeln, die auch ganz andere Ziele haben könnten als Suizidprävention. So ließe sich auch die Online-Aktivität von Menschen überwachen, um Gewalt- und Kriminalitätsprävention zu betreiben oder politisch Verdächtige aufzuspüren.

Ähnliche Beiträge:

35 Kommentare

  1. Ähnlich wie bei dem heutigen Vorschlag die ‘asozialen Medien’ betreffend soll und wird auch hier Fürsorge aus dem persönlichen sozialen Umfeld herausgelöst und institutionalisiert werden – was natürlich zu einer weiteren Schädigung eben dieses Umfelds führen wird. Was auf den ersten Blick wie eine ‘fürsorgliche’ Reaktion wirkt, wird das Problem also nur weiter verschärfen. Just another slippery slope…

    1. Vollkommen richtig. Und auch vom Ansatz her ist es wieder nur Symptombekämpfung.

      Eine kaputte Gesellschaft kriegt man nicht gesund, wenn man nicht an den Ursachen ansetzt: Eine wichtige ist die Konkurrenz aller gegen alle. Davon wird man einsam, und Einsamkeit macht krank. Menschen brauchen Gemeinschaft, Geborgenheit, sinnstiftende, erfüllende Aufgaben und Liebe. Liebe gibt es im Kapitalismus nicht mal gegen Geld.

      Das weiß man eigentlich alles schon längst…

      1. Ganz genau. Das ging so lange gut, wie noch kleinere Subgemeinschaften existiert haben. Inzwischen bleibt nur die Einsicht in die Tatsache, dass die Menschheit an sich eine einzige Gemeinschaft ist…. ja, dass alles Existierende miteinander verwandt ist.
        Die Welt bin wechselnde “wir” und “die” einzuteilen wird offenkundig immer schwieriger.
        Alles hat seine Zeit. Auch die Überwindung des Konkurrenz-Prinzips.

        1. Ganz genau. Das ging so lange gut, wie noch kleinere Subgemeinschaften existiert haben.

          Diese Subgemeinschaften existieren immer noch, man müsste sie nur wieder entdecken und befähigen. Und größere Strukturen, die von Subgemeinschaften gesteuert (nicht: beherrscht) wurden, haben – und hier verweise ich wieder auf Graeber/Wengrow ‘Anfänge’ – nachweislich existiert und existieren auch heute noch.

          Inzwischen bleibt nur die Einsicht in die Tatsache, dass die Menschheit an sich eine einzige Gemeinschaft ist…

          Somit bliebe dieser Gedanke möglich, abgesehen von seiner Notwendigkeit.

      2. @DasNarf
        “Vollkommen richtig. Und auch vom Ansatz her ist es wieder nur Symptombekämpfung.”

        Meine Rede seit Jahrzehnten. Diese KI soll vermutlich die lebenden Filckschuster (Sozialarbeiter) der Nation ersetzen um die schlimmsten Symptome einer kranken Gesellschaft im Sinne des Kapitals zu behandeln.

        Niemand soll ja je erfahren woran es liegt. Vermutlich dient es nur dazu damit dem Kapital nicht das Humankapital als Verfügungsmasse ausgeht.

        Überwachung gehört selbstverständlich auch dazu um rechtzeitig eingreifen zu könben

    1. Nein, sicher nicht…
      Jemand hatte eine gute Idee FÜR die Schüler. Durchgesetzt hat sie sich aber, weil sich das zur Überwachung eignet.

      Diese Staatsdiener, im englischen heissen die übrigens genau das Gegenteil: Public Servants!, von denen es in DE seit immer schon jede Menge gibt, sind das Problem. Heute sind diese Grün gefärbt und wird mindestens eine ganze Generation dauerm bis man dieses wiederliche Pack endlich wieder los ist.
      das sollten sich all die gut-Menschn hinzter die Ohren schreiben, die meinen mit ihren Welt-Rettungs-Ideen etwas ändern zu können

  2. Big Brother is watching you – nun aber wirklich. Die pseudo-menschenfreundliche Motivation derjenigen, die solche Manipulation zulassen, bezahlen, kann nicht darüber hinwegtäuschen, dass es sich um ein Scheunentor in die 1984er-Welt handelt, in der jede menschliche Regung minutiös überwacht und ausgewertet wird. Das Thema Suizidprävention bei Jugendlichen eignet sich dafür vorzüglich, wer könnte etwas dagegen haben? Aber ist dieser Schritt einmal getan, kann man dann leicht weitermachen und alles Mögliche ausspionieren, noch viel gründlicher als ohnehin bereits der Fall in der schönen, nicht mehr ganz neuen Internet-Welt.

    Aber nicht nur die hohe Missbrauchswahrscheinlichkeit ist problematisch. Es handelt sich um eine typische End of Pipe-‘Lösung’, nachdem die Teens in suizidale Gemütsverfassung gebracht worden sind, versucht man, sie von der Ausführung ihres Wunsches abzuhalten, statt angesichts der im Artikel genannten Zahlen sich zu fragen, was in dieser Gesellschaft dermassen schief läuft, dass der Wunsch nach Selbstauslöschung bei so Vielen so stark wird. Das kommt ja nicht aus heiterem Himmel, das baut sich über lange Zeit auf. Und es hat ganz gewiss mit den spätkapitalistischen Zuständen zu tun, denen diese jungen Menschen ausgesetzt sind. Ein hypermaterialistischer Wahnsinn, Vereinzelung, Bildschirme als Surrogate sozialer Kontakte, Dazu ein stures Weitermachen, Festhalten an weiterer Naturzerstörung, Erwachsene, die weitgehend autistisch ihren vermeintlichen Interessen nachhetzen, dabei alles zertreten, was ihnen unter die Füsse kommt.

    Jugendliche neigen noch stärker als Erwachsene zu Schwarzweissdenken, was wirklich schwarz ist, oder vielleicht ‘nur’ grau, wird tiefschwarz wahrgenommen. Das war aber schon immer so. Neu ist, dass die reale Welt sich eingedunkelt hat. Aber bloss nicht sich damit befassen, stattdessen Umsatz machen mit Software mit dem modischen Label KI versehen. Weitermachen, weitermachen, weitermachen…

    1. Was glauben Sie wie besonders Jugendliche(gerade in der Pubertät) agieren und reagieren wenn sie permanenter Überwachung ausgesetzt sind?
      Die Frage ist natürlich eher Rethorisch.

  3. Grüße aus dem Paralleluniversum.
    “I think he is crazy”

    https://t.me/DDGeopolitics/133749

    Während der Typ voll zugedröhnt uns seine Scheiße hier ausschüttet. Ach ja BTW, nach seinen Aussagen hat die Ukraine überschaubare 40.000 Soldaten verloren, während Russland 700.000 Opfer zu beklagen hat.

    Völlig Balla-Balla. Der Wertewesten hat sich komplett demaskiert. Das kann nicht mehr repariert werden.

  4. Statt die Wurzel des Übels anzugehen, doktert man an den Symptomen herum. Die Forschung, Ärzte, Lehrer, Universitäten sollten sich fragen, was die jungen Menschen in den Selbstmord treibt.
    Hier gilt es anzusetzen. Irgendeine KI löst überhaupt kein einziges Problem. Was bringt einen Menschen dazu, sich selbst zu töten?
    Da kann man aufzählen; kein Vater, keine Mutter oder beide waren nicht präsent und haben ihrem Kind nicht die Zuwendung gegeben, die es gebraucht hätte.
    Verlorene Werte. Was gibt Menschen einen Halt? Gute Traditionen sind zugunsten einer scheinbar grenzenlosen Freiheit entsorgt worden.
    Es gibt keine Zukunfts- und Berufschancen mehr. Man verdient mit ehrlicher, harter Arbeit nicht genug Geld, um die Familie zu versorgen. Der Lohn reicht nicht mehr, man verarmt, wird womöglich arbeitslos und hat kaum noch Perspektiven für die Zukunft.
    Jungen und Mädchen werden in der Highschool gemobbt und ausgegrenzt. Das führt zu Isolation und zu Selbstmordgedanken.
    Die Menschen haben keine sozialen Kompetenzen mehr. Sie igeln sich ein und vereinsamen vor dem Smartphone oder dem Computer. Warum gibt es überhaupt Social Media? Weil man im echten Leben keine Freunde mehr hat.
    Menschen finden keine Partner mehr. Frauen entziehen sich Männern, die Trump gewählt haben und lehnen Sex mit ihren Partnern strikt ab. Es herrscht Gefühlskälte und Eigenintrospetion ist für viele ein Fremdwort.
    Die Reichen werden immer reicher und die Armen immer ärmer. Die Poltik gibt riesige Summen für das Militär aus, während für die Bedürftigen nichts übrig bleibt.
    Fixierung auf sich selbst und seine eigenen Probleme. Kein Interesse mehr an anderen Menschen.
    Diese Aufzählung ließe sich noch lange fortsetzen, aber ich belasse es dabei.
    Schülerüberwachung ist in der heutigen Zeit scheinbar problemlos mit KI zu machen. Aber wie schon gesagt. KI löst kein einziges Problem.

  5. In Schulen in den USA werden mitunter Schulgeräte wie Notebooks oder Tablets mit KI-Programmen ausgestattet, um anhand der von den Schülern eingetippten Texte zu erraten, ob diese Selbstmordpläne ausbrüten. Betroffen sein sollen bereits Millionen Schüler. Jedes Wort und jede Aktivität wird ausspioniert, um ein mögliches Risiko zu entdecken.

    apropos Suizid

    Im Februar 2020 urteilte das Bundesverfassungsgericht, dass “das allgemeine Persönlichkeitsrecht ein Recht auf selbstbestimmtes Sterben umfasst. Dieses Recht schließt die Freiheit ein, sich das Leben zu nehmen und hierbei auf die freiwillige Hilfe Dritter zurückzugreifen”.

    .

    1. selbstbestimmtes Sterben

      Das ist Kodokushi-Vermeidung! In Japan sterben fast 5% (gemessen an der Gesamtzahl der Toten p.a.) der Menschen vereinsamt, liegen dann wochen- oder sogar monatelang in der Wohnung.

    2. Was macht das mit einem Kind oder einem Jugendlichen, der Vormittags dem Vortrag eines Schulpsychologen bezüglich der Vorteile einer KsI (künstlich simulierten Intelligenz) zur Suizidprävention lauscht und Nachmittags im Fernsehen dem Bundesverfassungsgericht bei der Ausführung des Menschenrechtes zum Suizid zuhört? Verwirrung?

      Suizid ≠ Suizid?

      Kognitive Dissonanz?

    3. Halt halt… Der Suizid junger Menschen ist nicht erwünscht, weil diese noch wunderbar auszubeuten sind. Stichwort “Humankapital”…
      Hingegen wird natürlich das beschleunigte Ableben von älteren und kranken Menschen “gefördert”.
      Und beides bekommt einen humanitären Anstrich…
      Irgendwie soll es in Kanada schon soweit sein, dass im Krankenhaus es sogar den Menschen nahegelegt wird “zu gehen”.

      (Nicht dass ich es unbedingt falsch finde, dass bei einer Aussicht, dass man im verbleibenden Leben nur noch massive Schmerzen erleiden müssten, das Recht hat sich selbst dieses zu nehmen. Nur sollte dieses zu 100% von einem selbst kommen, und dass ganze von unabhängigen Ärzten geprüft worden sein.)

  6. Wenn das jetzt in Schulen kommt, wie lange laufen diesen Programme dann bei allen Silicon Valley Tec Konzernen und im Internet und auf Spiegel und auf Telepolis? ?

    Ich meine die meisten von uns wurden doch aus Telepolis “rausgefiltert”, ist das noch niemandem aufgefallen?

    Frage für einen Freund.

  7. Alles Kinderkram. Bald wird man Hirnaktivitäten mittels KI in Sprache übersetzen können. Die Gehirn-Computer-Schnittstelle ist ein wichtiger Schwerpunkt bei Meta & Co. Wenn ich das richtig verstanden habe gibt es in den USA eine an Depressionen leidende Frau, die sich nach der Implantation eines Chips, der ihre Gehirnaktivitäten beeinflusst, viel besser fühlt. Ist ja alles nur zum Guten. Ich bin erleichtert.

    1. Bei dir sind sowieso Hopfen und Malz verloren. Schade um den schönen Chip.
      Hätte man besser für ne coole Playstation verwenden sollen als deinen IQ von 27 auf auf 28 hoch zu Boostern.

      Ätschi Bätschi

    2. Wundert mich gar nicht dass ein Depp wie du solche Scheiss glaubt… wir sind Welten von sowas entfernt, aber die aktien der Investoren müssen halt steigen….

  8. Gerade habe ich diesen ARD-Bach-Weihnachtsfilm zuende gekuckt.
    Mußte mehrfach pausieren, weil derart viele neoliberale Muster in dem Streifen verpackt sind,
    dass ich es kaum aushielt. Nicht mitgezählt, wie oft der Satz: ‘An die Arbeit!’ gerufen wurde.
    Man sieht: eine gebeutelte Familie, Stress pur, böswillige Beamte (Vorgesetzte),
    Vater-Sohn-Konflikte, Konkurrenzdramen, Hektik, Erschöpfung, und den Beginn eines im letzten Augenblick
    doch noch auf die Beine gestellten Weihnachtsoratoriums.
    Ich frage mich die ganze Zeit: war das damals ebenso anstrengend wie heute?
    Jedenfalls hat der Film mich wütend gemacht, denn er soll wohl zeigen:
    Seht her, da habt ihr’s heute doch ganz gut!
    Ausbeutung /Selbstausbeutung gibts schon immer, also: so muss das dann auch weitergehn!
    Was das mit dem Thema Suizidalität zu tun hat? Alles.
    Manche haben einfach keinen Bock mehr auf den ganzen Mist.
    Auch Kinder schon, btw. die vor allem nicht.
    In den News: ‘Letzte Generation’ heißen jetzt nicht mehr so.
    Haben neue Pläne. Welche? K.A.

  9. Im Endeffekt führen verschärfte Verhaltenskontrollen zu mehr Stress und damit wird eher abnormales Verhalten gefördert.
    Zusätzlich werden die Leute darauf konditioniert, ein öffentliches und ein privates Verhalten zu entwickeln.
    Alle ehemaligen DDR Bürger kennen das.
    Wie sowas endet hat man auch gesehen.
    Hier kommt noch dazu, das die Überwachung und Konditionierung sehr technik- und energieaufwändig ist.
    So was sehr störanfällig und es ist eine sehr dumme Idee darauf zu bauen, damit die Leute unter Kontrolle zu halten.
    Zumal es auch einfacher ginge, einfach allen genug zum Leben lassen und nicht ständig nerven.
    Um realle Probleme wie Spielsucht und Schulversagen, muss man sich in anderer Form und in anderem Rahmen kümmern.

  10. Massaker in Schulen (viele ausgelöst durch Mobbing), überzuckerter Junk-Food in der Schulkantine (um sich dann mit Instagram-Models zu vergleichen), massive Verschuldung bloss zum studieren (da gehen Welten unter wenn jemand das Stipendium nicht kriegt), vom korrupten Arzt verschriebene Medikamentenabhängigkeit (inkl mehr Schulden), eine for-profit Gefängnisindustrie die auch vor den Jugendlichen nicht halt macht und eine sich durch alle Lebensbereiche ziehende “cutthroat”-Mentalität.

    Oh nein, die Suizidraten steigen, besonders auch bei den betroffenen Jugendlichen!1 Was können wir dagegen tun?!

    Lass uns ja nicht die Ursachen angehen oder als Gesellschaft darüber sprechen*. Wir könnten aber mit der Überwachung der Kinder einen Reibach machen und gleichzeitig unseren Bot trainieren. Und als Bonus lernen die Kinder alles in sich hineinzufressen und jedes halbwegs kontroverse Thema nur noch heimlich/versteckt zu betrachten. Und wenn dann die Suizidraten weiter steigen können wir den Leuten noch ein anderes Schlangenöl andrehen. Nixon wäre stolz.

    * Zb die Massaker, da wird bloss über die Waffen gestritten. Dass es ein extrem drastischer Schritt ist, in die Schule zu gehen und Mitschüler/Lehrer regelrecht hinzurichten (plus assistierter Suizid), dem eine enorme psychologische Belastung vorausgegangen sein muss, ist kaum ein Thema.

  11. Dann haben diese Kinder überhaupt kein Privatleben mehr, wenn selbst die Gefühlswelt von der KI untersucht wird. Wenn sich das bewährt, wird es sicher auch in den Büros seine Anwendung finden. Dieser Müller ist heute richtig gut drauf, dem gebe ich mehr Arbeit, denkt der Chef. Der Maier hingegen fühlt sich schlecht. Kriegt der dann weniger Arbeit? Nein, die Wirkungsweise ist unidirektional.
    Aber was hat sich denn seit 2013 so geändert in Richtung dieser wirklich erschreckenden Zahlen? Was mir einfällt, ist das politische Umfeld. Bis Trump kam, gab es in USA so gut wie keine Rechtspopulisten. Jugendbewegungen gab es in Richtung Klimaschutz oder Antikapitalismus, Occupy und Blockupy. Solidarische Aktionen, in denen von einer Rücksichtnahme auf die Schwächeren ausgegangen werden konnte. Was dann die Rechten als unerträgliches Moralkortsett verunglimpften. Aber jetzt ist die Maximilian-Krah-Jugend am Zug. Ausgrenzung und Mobbing, ohne jede erkennbare Zielsetzung. Das tut seine Wirkung.

    Ein Beweis ist das nicht. Aber halt die Erklärung, die vom Zeitrahmen her passt.

  12. Tja die einzige Triage die während der C Kampagne stattgefunden hat war in der Kinder und Jugendpsychiatrie.
    Ansonsten grüßen Instagram und Co, ein verrottetes Schulsystem und neofeudalistische Strukturen überall! Unser allseits geschätzter Gesundheitsminister will ja jetzt hierzulande ebenso die Prävention zu Suiziden verbessern. Ich hätte da ein paar Vorschläge: Lasst uns endlich in Ruhe, vor allem nach dem was ihr uns von 2020-2023 angetan habt und erspart uns bitte weitestgehend euren Anblick! Wer was zu sagen hat soll podcasten. Mir reicht es wenn ich die Stimmen der verantwortlichen Akteure hören muss!

  13. Nach der Überwachung durch die Eltern kommt eben die Überwachung durch dritte. Was die dagegen unternehmen, wäre interessant.
    Praktisch ist, das der Erfolg und Mißerfolg dieser Software kaum überprüfbar ist, Steuergelder sind also für lange Zeit gesichert, während man die angebliche Suizid-Gefährdung nach Belieben hoch und runter regeln kann, etwa nach Rasse. Versicherungen, Firmen und Krankenkassen sind sicherlich ebenso interessiert an den gesammelten Daten wie Hacker. Eine Win-Win-Win-Win-Win-Konstellation, so muß das sein.
    Wenn die Zeit reif ist, wirds geschwind auf Vorhersagen von Organspenden umgemodelt.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert