Em ambientes assistenciais, a IA participa de decisões de alto impacto (ex.: priorização de atendimento, alertas de risco, auxílio ao diagnóstico, recomendações de dose, detecção de interações medicamentosas), tanto que o PL 2.338/2023 coloca a saúde como alto risco, obrigando a governança de inteligência artificial para instituições médicas.

Nesses contextos, a pergunta regulatória central não é “a IA funciona?”, mas sim: com quais garantias, sob quais limites, com quais evidências e com qual accountability (prestação de contas e responsabilização), pois ela deve operar para reduzir dano evitável.

A OMS sintetiza o núcleo ético-regulatório em seis princípios, com destaque para transparência/explicabilidade, responsabilidade/accountability e segurança/bem-estar, que se traduzem diretamente em exigências de governança e supervisão humana em serviços de saúde.

2. Onde estão os riscos: laudos, tratamentos e uso medicamentoso

Os Modelos de visão computacional podem apoiar triagens e detecção de achados, mas exigem controles porque:

• desempenho pode variar por equipamento, protocolo, perfil populacionale site clínico;
• há risco de falso negativo(atraso terapêutico) e falso positivo (iatrogenia, exames e tratamentos desnecessários);
• mudanças no fluxo (ex.: “priorização automatizada”) podem gerar efeitos sistêmicosna rede assistencial.

Trabalhos clássicos ilustram capacidade e limitações de modelos em radiografia, reforçando a necessidade de validação e governança para uso real.

2.2 Tratamentos (recomendação clínica, sumarização e apoio à decisão)

A evidência sobre IA em segurança do paciente indica potencial de melhoria (detecção de erros, estratificação, gestão medicamentosa), mas enfatiza heterogeneidade de avaliação e a necessidade de benchmarks e relato padronizado para reduzir risco e permitir auditoria.

2.3 Terapêutica medicamentosa (alertas, interações, fadiga de alertas)

Em prescrição, a combinação de alta complexidade e pressão de tempo torna clínicos vulneráveis a:

• fadiga de alertas (ignorar alertas relevantes);
• automação acrítica (aceitar recomendação incorreta);
• dificuldade de explicar/justificar recomendação ao paciente e à equipe.

Por isso, o controle regulatório essencial é garantir que o profissional consiga revisar a base da recomendação — não apenas receber “um score” — para exercer julgamento clínico independente.

3. O problema regulatório: automação acrítica e “supervisão humana de fachada”

A literatura de automation bias mostra que, quando existe recomendação automatizada, profissionais podem reduzir busca ativa de informação e checagem independente, aceitando a saída mesmo quando incorreta. Isso transforma um erro isolado em erro sistêmico e repetível — exatamente o tipo de risco que governança e supervisão humana devem mitigar.

Implicação prática: “Humano no loop” não basta como slogan; é necessário desenhar o sistema e o processo para que o humano:

1. tenha tempo e informação para revisar;
2. tenha autoridade e responsabilidade para modificar;
3. deixe rastro auditável do que foi aceito/alterado e por quê.

Esse entendimento aparece, inclusive, em diretrizes não setoriais de governança (ex.: exigência de supervisão humana e possibilidade de modificação do produto gerado por IA em ambientes críticos).

4. Padrões e guias que sustentam a governança de IA em saúde (núcleo de “ex ante compliance”)

4.1 Supervisão humana como requisito de segurança (FDA – CDS)

A orientação do FDA para Clinical Decision Support (CDS) explicita que, para determinadas funções serem tratadas fora do escopo de “dispositivo”, o software deve permitir ao profissional de saúde revisar independentemente a base da recomendação — de modo que ele não dependa primariamente da saída automatizada para diagnosticar/tratar.

4.2 Gestão de risco e ciclo de vida (NIST AI RMF)

O NIST AI RMF 1.0 (Tabassi, 2023) fornece uma arquitetura operacional para governança baseada em quatro funções: Govern, Map, Measure, Manage, útil para hospitais estruturarem papéis, métricas, controles e planos de resposta a incidentes ao longo do ciclo de vida. Além disso, a página do AI RMF ressalta o perfil para IA generativa (NIST-AI-600-1), relevante para LLMs em sumarização de prontuário e rascunho de laudos.

4.3 Sistema de gestão para IA (ISO/IEC 42001:2023)

A ISO/IEC 42001:2023 estabelece requisitos para um Sistema de Gestão de IA (AIMS), alinhando política, objetivos, processos, melhoria contínua e evidências — linguagem familiar a hospitais que já operam qualidade e segurança (ex.: estrutura PDCA).

4.4 Software clínico e ciclo de vida (IEC 62304)

Para software que impacta cuidado (incluindo componentes de IA em contexto de dispositivo/medical software), a IEC 62304 organiza processos e tarefas ao longo do ciclo de vida, reforçando a necessidade de disciplina, rastreabilidade e controles de mudança (essenciais para mitigar drift e regressões).

4.5 Princípios internacionais de confiança (OECD)

A Recomendação do Conselho da OECD sobre IA (2019) resume princípios centrais para IA confiável:

• transparência/explicabilidade, robustez/segurançae accountability, úteis para sustentar políticas internas e termos contratuais com fornecedores.

5. Como transformar princípios em prática: um modelo de governança para clínicas e hospitais

5.1 Estrutura mínima (“quem decide o quê”)

1. Comitê de Governança de IA em Saúde (multidisciplinar): direção clínica, qualidade/segurança do paciente, TI, jurídico/LGPD, farmácia clínica, enfermagem, compliance, pesquisa. (Racional: accountability e governança).
2. Catálogo de casos de uso: para cada IA, registrar finalidade, população, limitações, dados de entrada, evidências, riscos, métricas e responsáveis.
3. Classificação de risco (alto/baixo): laudo e prescrição tipicamente entram como alto risco organizacional pelo potencial de dano.

5.2 Controles “ex ante” (antes de entrar em produção)

• Validação clínica locale teste de generalização (site, população, protocolo).
• Plano de supervisão humana: o que pode ser automatizado, o que exige dupla checagem, quando bloquear uso.
• Transparência operacional: instruções de uso, limitações, e base explicativa adequada ao profissional.
• Avaliação de impacto e rastreabilidade(inclusive logs e auditoria) como prática organizacional de governança para sistemas críticos.

5.3 Controles “durante o uso” (monitoramento e auditoria)

O FDA descreve a necessidade de métodos e ferramentas para detectar mudanças de entrada, monitorar performance de saída e entender causas de variação — base de um programa de postmarket monitoring em ambiente real.

Isso deve virar rotina hospitalar: auditoria amostral de laudos apoiados por IA, revisão de casos discordantes, revisão de alertas de prescrição, e gatilhos de rollback.

6. Supervisão humana “de verdade”: requisitos técnicos e de processo – Explicabilidade útil (não apenas “interpretabilidade acadêmica”)

A supervisão humana efetiva requer simultaneamente:

Em cenários clínicos, a explicação deve ser acionável (o que mudaria a recomendação; quais sinais sustentam; quais dados faltam). Uma linha de pesquisa relevante propõe explicações contrafactuais como forma de transparência pragmática, sem exigir abertura completa de “caixa-preta”.

6.2 Evidência e relato padronizado (evitar “evidência bonita”)

Para reduzir risco de adoção prematura:

• CONSORT-AI: orienta relato de ensaios clínicos com componente de IA, aumentando auditabilidade e comparabilidade.
• SPIRIT-AI: qualifica protocolos de ensaios com IA, reforçando desenho seguro antes de executar.
• DECIDE-AI: foca avaliação clínica inicial “ao vivo” e de pequena escala para sistemas de apoio à decisão, alinhando segurança e fatores humanos.

6.3 Direitos do paciente e contestabilidade (LGPD como “trava de governança”)

No Brasil, a LGPD é um fundamento jurídico para governança de IA em saúde: o art. 20 assegura ao titular o direito de solicitar revisão de decisões tomadas unicamente com base em tratamento automatizado que afetem seus interesses — princípio que reforça a necessidade de processos de contestação e revisão clínica, especialmente em triagens e recomendações terapêuticas automatizadas.

Conclusão

A adoção segura de IA em clínicas e hospitais depende de tratar governança e supervisão humana como infraestrutura de segurança do paciente. A evidência aponta riscos típicos (automação acrítica, drift, vieses, inconsistência de avaliação), e os guias/standards convergem para soluções operacionais: (i) gestão de risco por ciclo de vida; (ii) transparência acionável e rastreabilidade; (iii) validação clínica local e relato padronizado; (iv) monitoramento contínuo; (v) capacidade real de revisão humana e contestação. Implementar esse conjunto reduz risco em laudos e terapêutica medicamentosa, aumenta qualidade e protege a organização em termos clínicos, regulatórios e reputacionais.