Auditoria técnica de respostas de inteligência artificial baseada em evidências
Da afirmação à evidência. Da evidência a um resultado verificável.
Projeto brasileiro open source para verificar respostas de IA no nível de cada afirmação: o que foi afirmado, quais evidências foram usadas, como elas se relacionam e por que determinada classificação foi emitida.
O problema
Uma resposta convincente não é uma resposta comprovada
Uma resposta de IA pode parecer correta e citar uma fonte sem que essa fonte sustente o que foi dito. Em contextos que exigem responsabilidade, não basta receber uma resposta fluente: é preciso poder inspecionar a relação entre afirmação e evidência.
O AYORAI ATTRACTOR desenvolve uma abordagem estruturada para essa verificação. Ele não promete eliminar todas as alucinações nem provar que uma fonte externa é verdadeira — torna a verificação inspecionável, rastreável e reproduzível.
Apresentação
O projeto em vídeo
Anderson Leon Ayora, autor do AYORAI ATTRACTOR, apresenta o projeto.
Se o vídeo não carregar, assista no LinkedIn.
Como funciona
Cinco etapas, uma decisão auditável
Cada resposta é decomposta e examinada afirmação por afirmação, até um veredito emitido por regras explícitas.
- Delimitar a afirmaçãoDefinir exatamente o que está sendo verificado.
- Relacionar evidênciasFontes e trechos relevantes, com proveniência.
- Analisar a relaçãoA evidência apoia, contradiz ou não esclarece?
- Aplicar o JudgeRegras determinísticas versionadas selecionam o veredito.
- Inspecionar e reproduzirArtefatos e testes para entender o resultado.
Os cinco vereditos do Judge 2.0
Quando as evidências não bastam, o resultado é UNVERIFIED em vez de um palpite; quando se contradizem, CONFLICTING em vez de uma escolha silenciosa. A semântica completa está no contrato e rastreabilidade do Judge 2.0.
A separação fundamental
Inteligência ≠ Autorização ≠ Execução
Inteligência
Modelos de linguagem auxiliam a análise de afirmações e evidências.
Não decide o vereditoAutorização
O Judge determinístico aplica o contrato explícito do sistema.
Única autoridade do vereditoExecução
A aplicação consome o resultado sem transformar sugestão de modelo em fato.
Não decide o vereditoPor que importa para auditoria
Princípios de engenharia
Em vez de depender de uma explicação em linguagem natural, cada conclusão relevante pode ser examinada à luz das evidências e das regras que a produziram.
Rastreabilidade
Conectar cada afirmação às evidências e referências disponíveis.
Regras explícitas
Decisão final separada da análise assistida por modelos.
Reprodutibilidade
Regras, conjuntos de avaliação e artefatos versionados.
Verificação técnica
Testes automatizados, regressões e verificações de segurança.
Limites declarados
Separar o que foi medido, o que está implementado e o que está em desenvolvimento.
Guia de auditoria de IA
O que é, governança de IA e como verificar respostas de IA, em português.
Ler o guia →Alucinação de IA
Como detectar e verificar respostas do ChatGPT e de outras IAs.
Ler o guia →Estado e limites
O que está comprovado hoje
O repositório contém implementação de verificação, contrato do Judge 2.0, testes de regressão e avaliações documentadas. Há resultados históricos para Golden v0 e v0.1, além de uma execução de desenvolvimento da Calibration V2 em LLM-AggreFact (em inglês). Cada resultado deve ser interpretado segundo sua partição, protocolo, commit e limitações documentadas.
Na partição DEV-A, o FactCG foi selecionado pela regra registrada, com balanced accuracy cross-fitted de 74,68%. Métricas probabilísticas: AUROC 0,8650 · AUPRC 0,9454 · Brier 0,1168 · ECE (15 bins) 0,0054.
O resultado oficial da v0.7.0 foi: a regra LTT originalmente registrada não aprovou nenhuma das 11 coortes. Após a Emenda 2, uma reaggregação dos mesmos artefatos DEV — sem nova inferência — encontrou quatro coortes que passaram pelo procedimento emendado: RAGTruth (92,7% de acerto observado; 91,6% de cobertura), ClaimVerify (94,6%; 67,2%), Lfqa (93,7%; 45,2%) e Reveal (95,6%; 32,6%). Este resultado é exploratório e pós-hoc, não certificação confirmatória; sete coortes não rejeitaram a hipótese nula no primeiro limiar testado.
A análise de poder propõe discutir, para a v0.8, um piso operacional de 367 respostas aceitas por coorte, mas isso ainda é uma proposta, não uma regra vigente; coortes menores poderiam ficar estruturalmente não testáveis por esse desenho.
Limite de interpretação: todos esses resultados são DEV, não TEST, produção, ranking ou evidência de generalização para português. FactCG, MiniCheck e mDeBERTa são modelos de terceiros; consulte o relatório Calibration V2, a reaggregação exploratória e análise de poder e a proveniência.
- Ainda não há resultado de benchmark em português; o protocolo RGC está em desenvolvimento e não está congelado.
- Resultados sintéticos não demonstram desempenho em produção nem generalização para documentos jurídicos brasileiros.
- O projeto não é apresentado como certificado, não garante a detecção de toda alucinação e não comprova conformidade regulatória por si só.
- Hashes ajudam a verificar a integridade de artefatos; não provam a veracidade de seu conteúdo.
Para o estado mais recente, consulte o Status técnico.
Começar
Instalação
Requer Python 3.11, 3.12 ou 3.13.
git clone https://github.com/Ayorinha/ayorai-opensearch.git
cd ayorai-opensearch
python -m venv .venv
source .venv/bin/activate
pip install -e ".[dev]"
pytestPara avaliações opcionais com backends NLI, consulte o guia passo a passo.
Documentação
Encontre o nível de detalhe certo
Arquitetura
Visão geral da solução.
Abrir →Judge 2.0
Regras, contrato e rastreabilidade.
Abrir →Modelo de ameaças
Riscos e limites de segurança.
Abrir →Considerações para o Brasil
Contexto regulatório brasileiro.
Abrir →Decisões de arquitetura
ADRs do projeto.
Abrir →Índice completo
Todos os documentos.
Abrir →Perguntas frequentes
Perguntas frequentes
O que é o AYORAI ATTRACTOR?
Um projeto brasileiro open source de auditoria técnica de respostas de inteligência artificial baseada em evidências. Ele verifica respostas de IA afirmação por afirmação e usa um Judge determinístico, com regras versionadas, para emitir o veredito.
Quem criou o projeto?
Anderson Leon Ayora, autor, mantenedor e diretor técnico do AYORAI ATTRACTOR.
É gratuito?
Sim. É distribuído sob a licença Apache-2.0.
Ele substitui revisão humana ou avaliação jurídica?
Não. O sistema apoia a análise; não substitui profissionais responsáveis, revisão humana, controles internos ou avaliação jurídica.
Como citar o projeto?
Para citar a versão 0.7.0, use o DOI 10.5281/zenodo.24045951. Para citar o projeto independentemente da versão, use o DOI de conceito 10.5281/zenodo.23125082. Os metadados estão em CITATION.cff.