Auditoria de inteligência artificial: guia prático e open source

Por Anderson Leon Ayora, autor do AYORAI ATTRACTOR · Atualizado em 7 de novembro de 2026

O que é auditoria de inteligência artificial

Auditoria de inteligência artificial é o processo de examinar um sistema de IA para verificar se ele faz o que afirma fazer, se suas conclusões se apoiam em evidências e se suas decisões podem ser inspecionadas e reproduzidas por outra pessoa, depois. É, para a IA, o que a auditoria contábil é para as finanças: um registro verificável, não uma explicação de boa-fé.

Com a IA generativa, a auditoria ganhou um foco novo. Modelos de linguagem escrevem respostas fluentes e convincentes, às vezes citando fontes que não sustentam o que está sendo dito. Em decisões que exigem responsabilidade, não basta a resposta parecer correta: é preciso poder examinar de onde ela veio.

Auditoria de IA não é o mesmo que auditoria com IA

As duas expressões são parecidas, mas tratam de coisas diferentes. Auditoria com IA é usar inteligência artificial como ferramenta em auditorias tradicionais — contábeis, fiscais ou de controles internos. Auditoria de IA é o contrário: examinar o próprio sistema de inteligência artificial para saber se ele é confiável. Este guia, e o AYORAI ATTRACTOR, tratam da segunda.

O que se audita em um sistema de IA

O AYORAI ATTRACTOR atua na camada de respostas: a verificação de cada afirmação contra suas evidências.

Como auditar respostas de IA, passo a passo

1. Delimite cada afirmação

Uma resposta de IA costuma reunir várias afirmações. Auditar o texto inteiro de uma vez esconde erros; auditar afirmação por afirmação mostra exatamente onde está o problema.

2. Relacione as evidências

Para cada afirmação, identifique as fontes e os trechos relevantes, preservando as referências de proveniência disponíveis.

3. Analise a relação

A evidência apoia, contradiz ou não esclarece a afirmação? Modelos de linguagem podem auxiliar essa análise, mas não devem ser a autoridade do veredito final.

4. Decida com regras explícitas e versionadas

Regras determinísticas selecionam o veredito, de modo que a mesma entrada estruturada conduza ao mesmo resultado. Quando as evidências não bastam, o honesto é registrar "não verificado", e não adivinhar; quando se contradizem, registrar o conflito, e não escolher uma fonte em silêncio. No AYORAI ATTRACTOR, o Judge 2.0 emite cinco vereditos:

5. Preserve os artefatos para inspeção

Guarde as afirmações, as evidências, a versão das regras e os artefatos de avaliação. Hashes ajudam a verificar que os artefatos não foram alterados — mas não provam a veracidade do conteúdo.

Princípios de uma boa auditoria de IA

• Rastreabilidade: toda conclusão aponta para as evidências e referências que a sustentam.
• Separação de funções: quem gera a resposta não é quem decide o veredito.
• Reprodutibilidade: regras, conjuntos de avaliação e artefatos versionados.
• Limites declarados: distinguir o que foi medido, o que está implementado e o que ainda está em desenvolvimento.
• Transparência: código, regras e método abertos à inspeção — por isso o código aberto importa.

Governança de IA, auditoria de algoritmos e regulação no Brasil

Governança de IA é o conjunto de regras, papéis e controles que uma organização adota para usar inteligência artificial com responsabilidade. A auditoria de algoritmos é uma de suas ferramentas: sem ela, a governança fica no papel, porque não há como demonstrar que os controles funcionam.

No Brasil, o uso de dados pessoais por sistemas de IA está sujeito à LGPD (Lei 13.709/2018). O Projeto de Lei 2.338/2023, aprovado pelo Senado e encaminhado à Câmara, permanece em tramitação e aguarda parecer do relator na Comissão Especial, conforme a ficha oficial consultada em 7 de novembro de 2026. Portanto, trata-se de uma proposta, não de uma lei vigente. Em qualquer cenário regulatório, a capacidade de mostrar por que um sistema chegou a uma conclusão — com evidências, regras explícitas e registros reproduzíveis — é relevante, mas não substitui avaliação jurídica ou controles organizacionais.

Para quem lida com IA generativa no dia a dia, veja também o guia sobre alucinação de IA e como verificar respostas do ChatGPT e de outras IAs.

Ferramentas open source para auditoria de IA

AYORAI ATTRACTOR (Brasil)

Projeto brasileiro open source, licença Apache-2.0, de autoria de Anderson Leon Ayora. Faz a auditoria técnica de respostas de IA no nível de cada afirmação, com Judge determinístico e regras versionadas, testes de regressão e documentação de estado e limites.

Código no GitHub · Documento técnico (PDF) · DOI no Zenodo

Outras iniciativas

O ecossistema aberto de auditoria de IA também inclui o programa de ferramentas abertas de auditoria apoiado pela Mozilla Foundation e os recursos da OpenMined voltados a auditores. Para uma visão acadêmica do campo, veja o estudo "The Right Tool for the Job: Open-Source Auditing Tools in Machine Learning". Essas iniciativas cobrem camadas diferentes e se complementam.

Limites

Nenhuma ferramenta de auditoria, sozinha, garante conformidade regulatória, certificação ou a detecção de toda alucinação. O AYORAI ATTRACTOR não é apresentado como certificado, e ainda não há resultado de benchmark em português — consulte o Status técnico para o estado mais recente. O sistema apoia a análise; não substitui revisão humana, controles internos ou avaliação jurídica.

Perguntas frequentes