Estamos a governar IA com regras de um mundo que já acabou?
A pergunta pode parecer provocadora, mas é cada vez mais necessária.
A ISO/IEC 42001:2023 é hoje uma das principais referências para a para a governação da Inteligência Artificial. Obriga as organizações a criarem um sistema de gestão de IA, com políticas, responsabilidades, avaliação de riscos, controlos, monitorização e melhoria contínua. Um avanço relevante, portanto.
Mas há um ponto crítico que importa não ignorar: apesar de publicada em dezembro de 2023, a norma foi desenhada num contexto anterior ao que hoje vivemos. O seu ciclo de normalização começou em 2020, teve versões intermédias em 2021 e 2022 e, na prática, a sua arquitetura conceptual estava largamente estabilizada poucas semanas antes da apresentação pública do ChatGPT. Ou seja, a norma não está errada – mas está a responder a uma realidade que mudou profundamente.
Antes do ChatGPT, a IA era, na maioria dos casos, um conjunto de sistemas especializados: previsão, classificação, scoring, recomendação, visão computacional, deteção de fraude ou otimização.
Hoje, a IA generativa tornou-se uma camada transversal. Liga-se a documentos, bases de dados, APIs, ferramentas e workflows. Produz linguagem, estrutura raciocínio, apoia decisões e, cada vez mais, executa ações através de agentes que interagem com sistemas reais.
Esta transição deixou de ser apenas tecnológica e passou a ser estrutural, o que muda a natureza do risco. É por isso que já não basta perguntar se um sistema de IA foi desenvolvido de forma responsável. É preciso ir mais longe e fazer perguntas que muitas organizações ainda não estão preparadas para responder:
- Que modelos estão a ser usados?
- Quem os utiliza, com que permissões e em que contextos?
- Que dados entram nos prompts e que dados saem nos outputs?
- Como se governa o uso de RAG, prompt injection, alucinações ou a dependência de
modelos externos que evoluem sem controlo direto? - Como se auditam agentes que não só recomendam como executam ações?
- E onde termina a autonomia do sistema e começa a responsabilidade humana?
A ISO/IEC 42001 dá uma base necessária. Mas, por si só, não resolve estes desafios. Porque muitos dos riscos associados à IA generativa não são estáticos. São dinâmicos, difíceis de prever e muitas vezes invisíveis até ao momento em que se materializam: alucinações, fuga de dados em prompts, uso indevido de informação interna, outputs não determinísticos, questões de direitos de autor, dependência de APIs externas, RAG mal curado ou agentes cuja atuação é difícil de auditar.
Talvez por isso a discussão esteja a evoluir da AI Governance para a Agent Governance – não como conceito teórico, mas como prática operacional que permita definir limites, garantir controlo, assegurar auditabilidade e, sobretudo, clarificar responsabilidades.
Este será, aliás, um dos temas em reflexão no próximo encontro da Quidgest sobre agentes de IA em sistemas de gestão, onde se discutirá, com casos concretos, como combinar inovação, arquitetura, normalização e confiança na integração destas tecnologias nos processos reais das organizações.
Porque a verdade é que já estamos a usar agentes de IA, mas convém saber se estamos preparados para governar o que eles fazem.
