Kan AI göra terapeutens jobb?

Händelsen har aktualiserat debatten om AI-säkerhet och förflyttat ämnet från abstrakta farhågor till konkreta skräckexempel. Efter Garcias stämningsansökan har en våg av andra stämningar sköljt över Character AI. Även Open AI och deras språkmodell ChatGPT har mött stämningar och anklagats för att ha bidragit till psykisk ohälsa och självmord bland unga.

Att världen står på tröskeln till en ny digital tidsålder vet vi sedan länge men hur navigerar vi rätt, både som enskilda användare och som yrkesverksamma, när AI börjar agera terapeut?

Det första man kan göra är att lära sig skilja på olika typer av AI-baserade chattbotar, förklarar Petra Holmberg, forskare vid Lunds universitet. Hennes forskningsområden omfattar bland annat medicinsk rätt och e-hälsoteknik.

– Många använder ju de stora språkmodellerna, som ChatGPT, Gemini eller Copilot, och de är definitivt inte skapade för att hjälpa människor med psykisk ohälsa. De är inte certifierade och opererar helt utan mänsklig översyn. Sedan finns det appar som utger sig för att vara hälsoappar, förklarar hon.

Hälsoapparna kan i regel delas in i två grupper. Den ena är hälsoappar som klassas som medicintekniska produkter. För att få klassas som det måste apparna uppfylla strikta krav som går i linje med EU:s AI-förordning. De måste vara CE-certifierade, vilket innebär en slags garanti från utvecklaren att appen följer EU-direktiven. Till exempel att de grundar sig på vetenskaplig evidens.

– De här apparna är inte problemet. De är ofta kopplade till sjukvården och sköts i regel i samarbete med medicinsk personal, förklarar Petra Holmberg.

Sedan finns det så kallade friskvårdsappar och då hamnar man plötsligt i en juridisk gråzon. Genom att hävda att tjänsten handlar om friskvård och livsstil är det fritt fram för utvecklare att lansera appar utan CE-certifiering, där AI:n kan operera helt utan mänsklig översyn.

– Det innebär i praktiken att utvecklarna erbjuder hjälp och behandling för psykiska problem utan att det finns medicinsk expertis eller att behandlingen baseras på vetenskaplig evidens.

– Det här kan vem som helst göra. Du och jag skulle kunna skapa en sådan app och börja sälja den. Det är det som enligt mig utgör den största faran ur ett patientsäkerhetsperspektiv. Den hjälp du får är inte verifierad.

Vad skulle du säga är fördelarna med AI-baserade hälsoappar generellt?

– Jag tror att de kan bli en viktig del av hälso- och sjukvården. Certifierade appar är oftast säkra och kan ge stöd när vården inte är tillgänglig. Till exempel på natten eller under helger. De kan också förmedla användaren vidare till rätt typ av vård.

Och friskvårdsappar?

– Även de kan vara till hjälp för människor som saknar tillgång till vård eller som av olika anledningar inte vill prata med professionella. Men då måste utvecklarna ta ansvar och följa befintliga säkerhetsriktlinjer, införa mänsklig översyn och basera funktionerna på medicinsk expertis.

Vad består då faran i rent konkret? När och hur bli chatboten farlig? Det har Michael Westerlund, forskare vid Stockholms universitet, intresserat sig för. Han har studerat digital kommunikation och suicidkommunikation sedan drygt 16 år tillbaka och har följt de senaste årens forskning kring chattbotar som stöd kopplat till psykisk ohälsa.

– Problemet med AI:n är att den är en produkt av den data som den har tagit del av. Det innebär att den kan bära med sig alla möjliga föreställningar om vad psykisk ohälsa och suicid är, och det behöver ju inte alltid vara av preventiv art. Det kan vara allt möjligt.

– Det vi vet är också att chattbotarna ofta är programmerade för att vara välvilliga. Man kan till och med säga att de är inställsamma. Det finns exempel där människor börjat prata om suicidplaner och där chattboten gett förslag på hur man kan gå till väga. Det är en jävligt farlig kommunikation.

Så sent som i november förra året rapporterade BBC om flera fall där ChatGPT hjälpt unga att planera självmord. Detta trots att plattformen har inbyggda säkerhetsfunktioner som ska förhindra den typen av konversationer.

– Jag kan inte med säkerhet säga hur de här inbyggda spärrarna fungerar på olika chattbotar men om man låter konversationen pågå ett tag så finns det exempel där användaren kunnat gå runt de här röda flaggorna. Om frågorna är mer kliniskt ställda till exempel, eller faktainriktade, så kan det plötsligt dyka upp svar ändå.

Ett exempel är fallet med 16-årige Adam Raine från USA, som tog sitt liv i april förra året. Han hade fått information om självmordsmetoder från ChatGPT genom att hävda att informationen skulle användas till ett skrivprojekt, vilket New York Times rapporterade om.

Men precis som Petra Holmberg tror Michael Westerlund ändå att chatbotarna har potential i att hjälpa människor som mår dåligt. Åtminstone till en viss gräns.

– För människor som är väldigt isolerade och ensamma kan kontakten med något som kommunicerar tillbaka vara bra. Personerna kan få stärkande svar, kunskap och kanske även en viss tröst. Men risken är att man fastnar i en kommunikation som bara snurrar, i stället för att den leder framåt.