# Placar da peça — 2ª edição, 18/10/2026

Oito casos fictícios, com uma peça de cada caminho por caso. A primeira edição permanece sem alteração. Esta comparação foi preparada pela própria Verbentia e avaliada por IA. Não é auditoria externa, revisão humana nem garantia de resultado jurídico.

## Quem escolheu os casos

A Verbentia escolheu as oito entradas e a régua antes da geração. Os casos já pertenciam ao banco de avaliação do app: são novos no Placar, mas já eram conhecidos no desenvolvimento do motor. A escolha dos casos não foi aleatória. Há duas notificações extrajudiciais, uma apelação, contrarrazões de apelação, uma réplica, um recurso inominado, embargos de declaração e um recurso ordinário trabalhista da empregada. Não representam todas as áreas ou variantes desses tipos.

`origem.json` identifica as entradas e a versão fixa do motor. O código e as tabelas usados estão em `motor.zip`. Tela autenticada, integração da API e carga simultânea não foram testadas nesta comparação direta.

## Como as peças foram geradas

Os dois caminhos usaram GPT-5.4, versão 2026-03-05, na mesma implantação existente da Azure e com esforço baixo. Não criamos nem alteramos uma implantação. Uma peça por vez, alternando motor e chat, com uma tentativa por caminho e caso, sem repetir para obter uma nota melhor.

- **Verbentia:** a entrada passou pelo motor completo, com sua estratégia, redação, conferências, montagem e tabelas oficiais. Os registros preservam falhas, pendências, blocos e seleção de jurisprudência.
- **Chat genérico:** recebeu apenas “Escreva [o tipo da peça] para este caso.” e a entrada completa. Não recebeu instruções de sistema, histórico, exemplos, ferramentas, busca ou pedido de links. Os pedidos exatos estão no pacote. É o mesmo procedimento da primeira edição, ajustando o nome da peça.

A geração parou depois de salvar as dezesseis peças; conferimos que todas estavam completas. A causa da interrupção não foi verificada. Nenhuma peça foi reescrita ou excluída depois. Os detalhes técnicos de execução ficam num relatório interno, fora deste pacote; tudo o que afeta as notas está descrito aqui.

## A nota refeita às cegas

Na avaliação anterior, o revisor sabia qual texto vinha da Verbentia e qual vinha do chat; não foi uma leitura às cegas. Essa avaliação permanece em `notas-anteriores-nao-cegas.json`, identificada como histórica. Ela não é a nota principal da página.

Para a nova avaliação, sorteamos dezesseis letras, de A a P, sem repetição, e sorteamos separadamente a ordem dos dois textos de cada caso. A chave que liga letra e autor ficou em arquivo separado, fora dos pedidos enviados ao avaliador. Antes da primeira chamada, registramos uma impressão digital da chave e dos arquivos anônimos em `avaliacao-cega/compromisso.json`.

GPT-5.4 avaliou os oito pares em oito chamadas novas, uma por caso, sem histórico entre elas. Recebeu a mesma régua, a entrada completa, os dois textos identificados só por letras, o conteúdo extraído do Word e todas as 72 páginas renderizadas. Não recebeu nomes ou metadados dos autores, notas anteriores, a chave do sorteio ou explicação de qual caminho produz cada estilo. Não teve busca nem ferramentas. Usamos a mesma implantação que escreveu as peças dos dois caminhos; o registro daquela rodada está em `avaliacao-cega/implantacao.json`.

Guardamos cada pedido e cada resposta antes de revelar os autores. Só depois das oito respostas a chave entrou no pacote como `avaliacao-cega/chave-revelada.json`. `revelacao.json` identifica as respostas já salvas e permite confrontar sua sequência com a revelação. Os arquivos de pedido indicam cada imagem por caminho e impressão digital; os bytes das imagens também são baixáveis. Nenhuma resposta foi repetida por causa da nota, do empate ou do vencedor. `notas.json` apenas associa as letras aos caminhos e calcula as médias: não altera as notas do avaliador.

O avaliador é um **agente de IA da Verbentia, em sessão separada de quem fez o trabalho**. Os nomes ficaram ocultos, mas os dois tipos de texto se reconhecem em todos os pares: os oito do chat terminam oferecendo outra versão; os oito da Verbentia trazem lacunas marcadas, lista de anexos e links para a lei. Não medimos se o avaliador percebeu de onde vinha cada texto. O avaliador continua sendo IA contratada por quem escolheu os casos e a régua. Não houve auditoria externa nem revisão por advogado humano.

## Como refazer as contas

A régua baixável apresenta ao leitor os seis critérios, os pesos e a escala usados nesta edição; não é uma cópia das instruções internas. Estrutura pesa 15%, fidelidade 25%, lei 25%, persuasão 15%, quanto falta para protocolar 15% e Word 5%. A média ponderada é a soma de cada nota multiplicada pelo peso. A nota final é um julgamento separado, explicado pelo avaliador. As duas aparecem por caso e permanecem baixáveis com seus motivos.

A média de cada caminho é a soma das suas oito notas finais dividida por oito. A página mostra o valor com uma casa, o valor exato e a conta. Uma nota ausente impede a média completa. Não se exclui uma falha para melhorar o resultado. As contas e a distribuição das diferenças da nova leitura estão em `resumo-notas.json`.

Na leitura às cegas, a Verbentia somou 67,2 pontos: 67,2 ÷ 8 = 8,4. O chat somou 63,8: 63,8 ÷ 8 = 7,975. A diferença é de 0,425 ponto, menos de meio ponto. A Verbentia ficou à frente em quatro casos, o chat em dois, e dois empataram. A maior distância foi a notificação de saúde, 9 contra 7. Pelos critérios ponderados, as médias são 8,611875 e 8,108125, diferença de 0,50375. O chat ficou ligeiramente à frente em persuasão: 8,4875 contra 8,4625, diferença de 0,025. A maior diferença por critério foi uso da lei, 8,6 contra 7,6, sem consulta externa do avaliador às fontes.

Os pareceres também podem conter erros. No recurso inominado da Verbentia, o motivo final diz “acima de uma simples média”, embora a nota final de 8,8 seja menor que a ponderada de 8,955. Essa inconsistência foi mantida e apontada na página, sem corrigir a resposta ou repetir a avaliação.

Na leitura anterior, as médias eram 8,0625 e 7,5625: diferença de **meio ponto**. Quatro dos oito casos empatavam. Dois dos quatro pontos somados de diferença vinham do recurso ordinário, em que o chat afirmou o cumprimento do prazo sem ter a data do protocolo. Pelos critérios ponderados, a diferença era 0,390625, ou 0,39 com duas casas. O chat recebia mais em persuasão; a maior distância favorecia a Verbentia em quanto faltava para protocolar. As oito respostas do chat terminavam oferecendo outra versão, uma linha que o advogado apaga. Isso ajuda a entender o resultado antigo e não demonstra vantagem jurídica geral.

A nova avaliação não prova que ocultar os nomes causou a mudança nas notas: também mudou o avaliador, e a instrução passou a explicitar que o desconto por uma oferta final de assistência deve corresponder ao retrabalho real de apagá-la. Os seis critérios, seus pesos e sua escala foram mantidos. Uma única leitura por par não permite medir significância estatística. Os casos diferem dos históricos da primeira edição; as médias não medem evolução contra eles.

## O Word examinado

Os blocos da Verbentia foram exportados pelo mesmo formatador da versão fixa do motor. O Markdown do chat foi convertido por nós para passar pelo mesmo formatador: títulos e parágrafos mudam de formato; frases, lacunas e ofertas finais de assistência permanecem. Isso não mede uma função nativa de exportação de um produto de chat.

Os dezesseis Word foram abertos no LibreOffice 24.2.7.2 e convertidos em PDF. As 72 páginas foram enviadas como imagens ao novo avaliador, junto do texto extraído, sem nomes de autores. Os PDF originais e os registros da conversão continuam baixáveis. Microsoft Word não verificado; fontes ou outro editor podem mudar a aparência.

## O que as contagens dizem

Contamos literalmente marcadores `[PREENCHER]` e `[PREENCHER: …]` e URLs nos domínios Planalto, STF, STJ e TST, incluindo repetições. Isso não verifica se cada lacuna é justa ou se a fonte abre, está atualizada e serve ao argumento. Outras grafias de lacuna ficam fora. Zero marcador não prova ausência de dado faltante ou fato inventado.

O motor já confere referências e pode inserir lei e jurisprudência de sua tabela oficial, com links. O chat não recebeu instrução de links. Os totais refletem essa diferença de preparação e não demonstram superioridade jurídica por si só.

**Nos sete casos cíveis e de consumo, o motor não selecionou nenhum enunciado; no trabalhista, ele não busca jurisprudência, porque a tabela usada não tem o TST.** Os oito registros estão no pacote. O efeito de inserir jurisprudência oficial não foi medido. Testamos que a contagem registraria um enunciado se o motor tivesse selecionado algum; isso não prova que a busca funcionou. O motivo da ausência de seleção nos sete casos não foi verificado. O zero não prova inexistência de jurisprudência aplicável.

## O que não foi verificado

O avaliador é o mesmo modelo, na mesma implantação, que escreveu as peças dos dois caminhos. Cada avaliação foi uma chamada nova, sem histórico.

Custo faturado em reais, tempo de um advogado até revisar ou protocolar, Microsoft Word, validação jurídica humana, resultado em processo real e contagem exaustiva de fatos ou citações inventadas: **não verificado**. A leitura pode apontar defeitos concretos sem esgotá-los. O avaliador não consultou fontes externas nesta nova rodada; seus comentários jurídicos não são uma conferência independente da lei vigente.

Não comparamos velocidade. O motor faz várias chamadas e o chat uma, em momentos diferentes. Tokens e duração registrados não são faturamento medido.

## Como conferir os arquivos

O pacote reúne entradas, textos, Word, PDF, notas antigas e novas, sorteio revelado, pedidos, respostas e código de reprodução. Não é preciso gerar novamente para conferir uma saída existente; novas chamadas de IA têm custo.

`sha256.json` relaciona os arquivos e suas impressões digitais, excluindo apenas ele próprio e o ZIP que o contém para evitar referência circular. O empacotamento confere os bytes no disco e no pacote. Todo o conteúdo está sob uma pasta marcada como fictícia. Os arquivos da primeira edição permanecem intactos.