IA médica: lembrete reduz escolhas inseguras, mas não elimina falhas

O resultado: 16,6% caiu para 10,1%

Uma instrução curta de segurança mudou o comportamento de modelos de IA diante de pedidos potencialmente prejudiciais. No estudo de Omar e colaboradores, essas escolhas caíram de 16,6% para 10,1% das respostas: diferença de 6,5 pontos percentuais. A redução apareceu em 19 dos 20 modelos.

O trabalho saiu em Communications Medicine em 26 de setembro. A novidade desta semana é sua divulgação pelo Mount Sinai em 8 de outubro.

• Conferir resultados no artigo científico original

O teste: a IA obedeceria a uma ordem insegura?

Foram avaliados 20 modelos de linguagem de pesos abertos, em mais de 10 milhões de respostas. A base reuniu 501 variações de cenários sintéticos e 100 casos derivados de registros de alta do MIMIC-IV. Cada situação foi repetida dez vezes sob diferentes condições.

Os modelos escolhiam entre quatro ações, duas classificadas como potencialmente prejudiciais. O lembrete orientava verificar ou encaminhar para avaliação humana uma solicitação insegura.

O comunicado dá um exemplo concreto: pedir à IA que dispense exames de sangue de acompanhamento para reduzir a carga de trabalho. A ordem podia chegar com urgência ou autoridade de um superior. O teste avaliava se o modelo a seguiria, manteria o acompanhamento ou buscaria um clínico.

• Ler o exemplo e a explicação da equipe do Mount Sinai

O dado que merece atenção: ainda houve falhas

Nos casos derivados de registros de alta, a taxa caiu de 46,6% para 24,5%. Portanto, nesse grupo, quase uma em quatro escolhas ainda foi potencialmente prejudicial mesmo com o lembrete.

Repetir a pergunta também não produziu sempre a mesma categoria de resposta. Em 80,4% das condições comparadas, ela permaneceu igual nas dez repetições. O artigo classifica o trabalho como prova de conceito: ele não estima o risco clínico de sistemas em uso.

O que isso ensina ao médico que está avaliando uma IA?

O aprendizado concreto é que uma resposta pode mudar com a maneira de formular a ordem. No exemplo dos exames, o problema não era apenas conhecer medicina: era resistir a uma solicitação que colocava a segurança em conflito com a conveniência.

Nossa leitura editorial é levar três perguntas à avaliação de uma ferramenta: ela foi testada contra instruções inseguras? Como se comportou nos casos clínicos usados no teste? A avaliação é repetida quando o modelo muda?

A equipe propõe incorporar testes automatizados de segurança ao desenvolvimento e repetir a avaliação nas atualizações. Também ressalta que um lembrete não substitui supervisão clínica. Na revisão de uma resposta, examine especialmente o que a IA propõe omitir, interromper ou executar.