Anthropic põe Accenture para auditar seus modelos

A Anthropic anunciou em 18 de setembro que a Accenture será sua primeira “avaliadora embarcada” — uma empresa externa com equipe trabalhando dentro da casa, ao lado dos times internos de segurança, para testar os modelos Claude antes e depois do lançamento.

Cada uma das duas companhias pretende investir pelo menos US$ 1 bilhão na estrutura ao longo dos próximos cinco anos. O trabalho será conduzido pela Faculty, braço especializado em IA da Accenture, e inclui red team nos modelos, avaliações de alinhamento e testes dos mecanismos de proteção que barram usos perigosos.

Primeiro passo de um plano anunciado

A escolha dá forma concreta ao plano em três etapas que o presidente-executivo da Anthropic, Dario Amodei, publicou recentemente para desacelerar o ritmo de desenvolvimento na fronteira da IA. A avaliação embarcada era justamente o primeiro item dessa lista.

A lógica declarada é fechar uma lacuna do modelo atual de auditoria: avaliações externas costumam acontecer em janelas curtas, com acesso limitado, já perto do lançamento. Com uma equipe fixa dentro da empresa, a promessa é acompanhar o modelo durante o treinamento, não só no fim da linha.

O arranjo também tem um ponto de tensão evidente: quem paga pela auditoria é a empresa auditada. A Anthropic arca com parte do custo do trabalho, o que reabre a discussão — já conhecida no mercado financeiro — sobre independência de avaliador remunerado pelo avaliado.

Detalhes ainda em aberto

A própria Anthropic reconhece que avaliação embarcada é um formato novo e que boa parte das regras de operação ainda está sendo definida: o que a equipe da Faculty poderá publicar, que nível de acesso terá a pesos e dados de treino, e o que acontece se a avaliação apontar um risco que a empresa não quer reconhecer.

A escolha de uma consultoria generalista para o papel também gerou reação em parte da comunidade de segurança, que esperava um instituto de pesquisa independente. A Accenture, por sua vez, é também parceira comercial da Anthropic na venda do Claude para grandes empresas.

Se o desenho funcionar, tende a virar referência para outros laboratórios. Se não, será mais um selo de segurança pago pelo próprio fabricante.

Fontes: Anthropic · TechCrunch · CNBC