Chatbot que oferecia maus conselhos para distúrbios alimentares retirados: Tiros

May 27, 2023

De

Por

Kate Wells

Tessa foi um chatbot originalmente projetado por pesquisadores para ajudar a prevenir distúrbios alimentares. A Associação Nacional de Distúrbios Alimentares esperava que Tessa fosse um recurso para aqueles que buscavam informações, mas o chatbot foi retirado quando recursos relacionados à inteligência artificial, adicionados posteriormente, fizeram com que o chatbot fornecesse conselhos sobre perda de peso. Captura de tela ocultar legenda

Algumas semanas atrás, Sharon Maxwell ouviu que a Associação Nacional de Distúrbios Alimentares (NEDA) estava fechando sua linha de apoio nacional de longa data e promovendo um chatbot chamado Tessa como um "recurso de prevenção significativo" para aqueles que lutam contra distúrbios alimentares. Ela decidiu experimentar o chatbot ela mesma.

Maxwell, que mora em San Diego, lutou durante anos com um distúrbio alimentar que começou na infância. Ela agora trabalha como consultora no campo de transtorno alimentar. "Oi, Tessa", ela digitou na caixa de texto online. "Como você apóia pessoas com distúrbios alimentares?"

Tessa apresentou uma lista de ideias, incluindo alguns recursos para "hábitos alimentares saudáveis". Os sinos de alarme dispararam imediatamente na cabeça de Maxwell. Ela pediu mais detalhes a Tessa. Em pouco tempo, o chatbot estava dando dicas sobre como perder peso - dicas que pareciam muito com o que ela havia ouvido quando foi colocada no Vigilantes do Peso aos 10 anos.

"As recomendações que Tessa me deu foram que eu poderia perder de 1 a 2 libras por semana, que não deveria comer mais do que 2.000 calorias por dia, que deveria ter um déficit calórico de 500 a 1.000 calorias por dia", diz Maxwell . "Tudo isso pode soar benigno para o ouvinte em geral. No entanto, para um indivíduo com distúrbio alimentar, o foco na perda de peso realmente alimenta o distúrbio alimentar."

Maxwell compartilhou suas preocupações nas redes sociais, ajudando a lançar uma controvérsia online que levou a NEDA a anunciar em 30 de maio que estava desabilitando Tessa indefinidamente. Pacientes, familiares, médicos e outros especialistas em transtornos alimentares ficaram surpresos e perplexos sobre como um chatbot projetado para ajudar pessoas com transtornos alimentares poderia acabar dando dicas de dieta.

O alvoroço também desencadeou uma nova onda de debates à medida que as empresas recorrem à inteligência artificial (IA) como uma possível solução para uma crescente crise de saúde mental e grave escassez de provedores de tratamento clínico.

Um chatbot de repente no centro das atenções

A NEDA já havia sido investigada depois que a NPR informou em 24 de maio que o grupo nacional de defesa sem fins lucrativos estava fechando sua linha de apoio após mais de 20 anos de operação.

A CEO Liz Thompson informou os voluntários da linha de apoio sobre a decisão em um e-mail de 31 de março, dizendo que a NEDA "começaria a girar para o uso expandido da tecnologia assistida por IA para fornecer a indivíduos e famílias um recurso moderado e totalmente automatizado, Tessa".

“Vemos as mudanças da Helpline para Tessa e nosso site expandido como parte de uma evolução, não uma revolução, respeitando o cenário em constante mudança em que operamos”.

(Thompson seguiu com uma declaração em 7 de junho, dizendo que na "tentativa da NEDA de compartilhar notícias importantes sobre decisões separadas sobre nossa linha direta de informações e encaminhamento e Tessa, que as duas decisões separadas podem ter se confundido, o que causou confusão. Não era nossa intenção de sugerir que Tessa poderia fornecer o mesmo tipo de conexão humana que a Helpline oferecia.")

Em 30 de maio, menos de 24 horas depois que Maxwell forneceu à NEDA capturas de tela de sua conversa perturbadora com Tessa, a organização sem fins lucrativos anunciou que havia "derrubado" o chatbot "até novo aviso".

NEDA diz que não sabia que o chatbot poderia criar novas respostas

A NEDA culpou a Cass pelos problemas emergentes do chatbot, uma empresa de chatbot de saúde mental que operava o Tessa como um serviço gratuito. Cass mudou Tessa sem o conhecimento ou aprovação da NEDA, de acordo com o CEO Thompson, permitindo que o chatbot gerasse novas respostas além do que os criadores de Tessa pretendiam.