Foto: TRE-PI/Divulgação

O TSE (Tribunal Superior Eleitoral) ampliou a previsão de urnas eletrônicas a serem testadas para as eleições deste ano em meio aos ataques de Jair Bolsonaro (PL). O objetivo é elevar a segurança e a transparência sobre a votação eletrônica diante de suspeitas infundadas de fraude espalhadas pelo presidente da República.

Estatísticos ouvidos pela reportagem, porém, consideram haver falhas na forma como essa ampliação das urnas testadas está sendo justificada pelo TSE. Segundo eles, a metodologia empregada é inapropriada, por gerar amostras insuficientes. O teste das urnas ocorre em todas as eleições e tem como objetivo verificar se elas contabilizam corretamente os votos que são digitados.

Nessa auditoria, feita no dia da votação, voluntários votam em papel, e os mesmos votos são digitados na urna. O processo é filmado e, ao final, é verificado se o boletim da urna bate com o que está no papel. Como não é possível testar todas as urnas, a metodologia estatística é importante para definir a amostra adequada de urnas testadas, considerando o nível de precisão que se quer alcançar. A previsão é que sejam usadas 577 mil urnas em todo o país no pleito deste ano.

No Brasil, nunca houve registro de fraude nas urnas eletrônicas, em uso desde 1996. Com voto impresso, pleitos anteriores já tiveram suspeitas, com casos emblemáticos no Rio de Janeiro e em Alagoas, por exemplo, que envolveram cédulas de papel fraudadas e apuração irregular.

No período com urnas eletrônicas, até as eleições de 2020, eram testadas 100 delas a cada votação. Nos últimos meses, em meio aos ataques de Bolsonaro ao sistema, o tribunal inicialmente anunciou que dobraria a quantidade testada. Quatro meses depois, em março, o TSE fez um novo gesto, desta vez ampliando para cerca de 600.

Embora não haja consenso entre os especialistas consultados pela reportagem sobre a quantidade mínima ideal, eles indicam que, com base na metodologia usada pelo TSE, precisaria ser muito mais elevada do que a calculada, chegando até a cerca de mil urnas por estado. Já a adoção de metodologias distintas, segundo dois especialistas, poderia requerer uma amostra só um pouco maior –próxima de mil para no país inteiro.

Procurado pela reportagem, o TSE afirmou que, "sem conhecer em profundidade que 'possíveis falhas' identificadas pelos estatísticos", "não há como avaliar se são efetivamente falhas procedimentais ou apenas abordagens distintas que são rotineiras em estudos estatísticos".

De acordo com o tribunal, a amostra considerada pequena pelos estatísticos ouvidos pela reportagem é consequência da ideia de homogeneidade das urnas eletrônicas e depende do "pressuposto da probabilidade de ocorrência do evento, margem de erro e nível de confiança".

"As demais formas de auditoria do processo eleitoral permitem verificar que o funcionamento das urnas eletrônicas é homogêneo e, observando uma urna, o resultado será o mesmo encontrado em todas as demais. Válido ressaltar que durante todas as auditorias nunca foram encontradas inconformidades", diz. Além do teste de integridade, há outras etapas de auditoria antes e após as eleições.

O sistema da urna pode ser inspecionado por órgãos, partidos e entidades. Hackers também testam ataques à urna no Teste Público de Segurança. São realizadas cerimônias públicas para assinatura digital e lacração do sistema da urna. Testes de autenticidade verificam se as urnas estão funcionando com os sistemas oficiais lacrados. E as urnas não são conectadas à internet, entre outros dispositivos de segurança.

A pedido da reportagem, os cinco especialistas analisaram um estudo realizado pela equipe de estatística do TSE. O documento foi mencionado pelo tribunal em ofício de resposta às Forças Armadas tornado público em fevereiro e enviado à Folha de S.Paulo após seguidos pedidos ao tribunal. Nesse ofício, o TSE afirma que o estudo "atestou que o quantitativo existente antes da ampliação já era estatisticamente representativo".

No estudo, de acordo com os especialistas, não há explicações que permitam entender o que o tribunal considerou para, em dezembro do ano passado, ter anunciado a duplicação da amostra de urnas submetidas aos testes. Além disso, foram desenhados apenas cenários extremos. O cenário alternativo desenhado pelo estudo, em contraposição ao de 100 urnas, resultava em mais de 123 mil urnas a serem testadas.

De 5 estatísticos consultados pela reportagem, 1 não viu problemas no estudo. Dentre os outros 4, houve diferenças na análise, mas todos avaliaram que, considerando os parâmetros e a metodologia usados pela equipe do tribunal, a amostra de urnas para teste teria que ser maior. Dois deles defendem a troca de metodologia.

A Folha de S.Paulo também solicitou ao TSE acesso ao relatório preliminar em que, segundo notícia publicada pelo site do tribunal, a ampliação havia sido sugerida pela CTE (Comissão de Transparência das Eleições), formada por representantes de órgãos como a Polícia Federal e as Forças Armadas, e também da sociedade civil.

O documento, porém, não foi fornecido, nem mesmo a parte referente ao quantitativo de urnas para teste. Sem acesso ao relatório, a reportagem questionou quais foram os parâmetros utilizados para as duas ampliações.

Segundo o TSE, a base amostral foi ampliada após sugestões da comissão "para tornar ainda maior o índice de confiabilidade do processo eleitoral". "A margem de confiança era de 95% e, a partir do aumento da base amostral para cerca de 600 urnas, chegamos a uma margem próxima a 99,99%", afirmou.

Também disse que a fórmula usada para determinação da nova margem de confiança foi feita a partir das mesmas premissas do estudo inicial.

O tribunal afirmou que a amostra inicial, "de cerca de 100 urnas, já era suficiente, uma vez que o sistema é uniforme, mas a Justiça Eleitoral decidiu aumentar para deixar ainda mais robusta e dar maior transparência e publicidade a essa que é apenas uma das inúmeras fases de auditoria existentes no processo eleitoral".

Até as últimas eleições, o número de urnas sorteadas por estado para participar deste teste podia ser de três, quatro ou cinco urnas, variando de acordo com o número de seções eleitorais de cada unidade federativa. O Amapá, por exemplo, tinha cerca de 1.300 urnas em operação, ante 86 mil em São Paulo.

Na primeira mudança, aprovada pelo TSE em dezembro, os valores por estado foram duplicados, passando a ser de seis, oito ou dez urnas. Já na segunda alteração, em março, os valores foram triplicados e o quantitativo passou a ser de 20, 27 ou 33, a depender do número de urnas de cada estado.

Auditorias por amostragem podem ser empregadas em diversas áreas, abarcando tanto qualidade de produtos e serviços quanto para detecção de ocorrência de fraudes contábeis em empresas. A amostra ideal varia de acordo com cada cenário e nível de precisão que se quer atingir. É difícil, contudo, traçar um paralelo com os testes das urnas.

Críticas

Apesar da ampliação da amostra realizada pelo tribunal, os pontos problemáticos apontados pelos especialistas permanecem.

Para Airlane Pereira Alencar, professora associada do Departamento de Estatística da USP, eles usam uma fórmula inadequada. "É arbitrário esse tamanho da amostra", diz. "Não é isso que normalmente é feito para calcular tamanho de amostra, usando a metodologia estatística usual", afirma.

Um ponto controverso para parte deles é que o estudo do tribunal parte da premissa de que a probabilidade (ou proporção) de urnas com erro é ínfima. O valor usado foi de 0,01%, ou seja, uma urna com erro em 10 mil urnas.

Para detectar problemas, neste cenário –com a margem de erro e nível de confiança assumidas pelo tribunal–, amostras pequenas seriam inadequadas.
Seguindo a metodologia empregada pelo estudo, não seria adequado, segundo Airlane, que a amostra de urnas testadas em cada estado fosse inferior a 30.

Mesmo após a última ampliação aprovada pelo TSE, apenas cinco estados teriam amostras superiores a este valor, de acordo com o previsto para 2022, com 33 urnas testadas.
Considerando a primeira ampliação aprovada pelo TSE, em dezembro, mesmo os estados com maior número de seções teriam no máximo dez urnas testadas.

Também para Raphael Nishimura, especialista em amostragem e diretor do Survey Research Center da Universidade de Michigan, persistem problemas após a ampliação, já que os resultados para a maioria dos estados não contemplam o tamanho mínimo recomendado para a metodologia empregada.

Ele ressalta que nem sempre é possível ter a amostra ideal. "Aumentar o tamanho da amostra carrega consigo custos, e é preciso encontrar um bom equilíbrio entre custos e precisão." Para Nishimura, contudo, o modo como o tribunal justificou o aumento da amostra para 600 urnas, apenas passando a confiança para 99,9%, causa estranheza.

Segundo Jorge Oishi, professor aposentado do Departamento de Estatística da UFSCar (Universidade Federal de São Carlos), ao optar aumentar apenas o nível de confiança sem mexer na margem de erro, a amostra obtida é menor.

"Então eles não estão fazendo algo proibido, mas tentando encontrar uma justificativa teórica para aumentar um pouco o tamanho da amostra", explica. Isso tem efeito no nível de precisão.
Para ele, um dos problemas é que a margem de erro assumida pelo TSE é muito grande quando comparada ao ínfimo percentual adotado de probabilidade de urnas com problema.

Oishi defende a adoção de metodologia distinta, considerando o fato de que o cenário traçado pelo TSE envolve um evento raro –termo técnico da estatística. Seu cálculo chegou a um valor de 38 a 39 urnas em cada estado.

"A crítica que se deve fazer na metodologia do TSE é que não tem cabimento falar sobre o 'erro', pois o mesmo deve ser absolutamente zero, pois uma única urna inconforme já descarta qualquer possibilidade da eleição estar isenta de problemas", diz Eduardo Yoshio Nakano, professor do Departamento de Estatística da UnB.

"O estudo que deveria ser feito, a técnica, deveria verificar a chance da existência de uma ou mais urnas com problemas. E não estimar a proporção", completa ele que considera a metodologia usada pelo tribunal como inadequada.

Segundo o cálculo de Nakano, uma amostra de 36 urnas por estado seria um quantitativo adequado.

Já para Cristiano Ferraz, professor associado do Departamento de Estatística da UFPE (Universidade Federal de Pernambuco), o mais importante é que a seleção das urnas seja aleatória, e não o tamanho da amostra.

Para ele, é importante considerar que há diversas outras fases garantindo a qualidade das urnas. Tal posicionamento é semelhante ao do TSE. "Este estudo, por mais críticas que se faça, ele tem o mínimo necessário para justificar esse tipo de procedimento."

Estudo

Em resposta às Forças Armadas, ao citar o estudo, o tribunal afirma que "partiu da premissa verdadeira, considerada estatisticamente como um cenário favorável, de que todas as urnas utilizam o mesmo sistema no país inteiro". Para o TSE, isso é atestado pelas demais fases de auditoria.

No estudo estatístico, contudo, ao apontar o cenário em que cerca de 100 urnas são testadas no país como o cenário "menos oneroso", a própria equipe do tribunal faz uma ressalva.

"Todavia, tal quadro está fundado em um índice de erro ínfimo o que, talvez, não se coadune com a crescente exigência externa por uma maior fiscalização quanto à integridade do sistema de votação brasileiro", consta na conclusão do estudo.

Para Diego Aranha, professor associado da Universidade de Aarhus (Dinamarca) e pesquisador da votação eletrônica, não é adequado considerar a premissa de que todas as urnas usam o mesmo sistema.

Já de acordo com Bruno Albertini, que é integrante da Comissao de Transparencia das Eleiçoes do TSE e professor do departamento de Engenharia de Computação da Escola Politécnica da USP, é adequado assumir a premissa que a probabilidade de erro é ínfima.
Para Nakano (UnB), porém, há incoerência. "Se você faz uma premissa que é bem forte do tipo todas as urnas são iguais, é quase como fazer a premissa de que a eleição está isenta", diz.

O TSE afirmou à Folha de S.Paulo que "está a disposição para receber eventuais estudos sobre o tema para avaliar e emitir parecer a ser avaliado pelas instâncias decisórias do tribunal que poderá avaliar conveniência e oportunidade para eventuais ajustes que porventura se façam necessários nas premissas e metodologias utilizadas".

Teste de integridade

O que é?

No dia da eleição é feito o chamado teste de integridade, antes chamado de votação paralela. Urnas sorteadas na véspera da eleição, em cada estado, são retiradas da seção eleitoral para participar de uma auditoria. O objetivo do teste é verificar, por amostragem, se as urnas funcionam corretamente.

O processo é monitorado por câmeras, auditores e fiscais de partidos. Os participantes registram os votos em cédulas de papel e depositam em urnas de lona lacradas.
Após a impressão da zerésima na urna eletrônica, que garante que não há votos registrados nela, os mesmos votos do papel são digitados na urna eletrônica. Ao final, os resultados contabilizados no boletim da urna são comparados com os votos das cédulas.

Como era nas últimas eleições 

Quantidade de urnas testadas em estados com:
até 15 mil seções: 3 urnas
de 15.001 a 30 mil seções: 4 urnas
mais de 30 mil seções: 5 urnas

O que mudou em dezembro de 2020

Quantidade de urnas testadas em estados com:
até 15 mil seções: 6
de 15.001 a 30 mil seções: 8
mais de 30 mil seções: 10

Como será nas eleições de 2022

Quantidade de urnas testadas em estados com:
até 15 mil seções: 20
de 15.001 a 30 mil seções: 27
mais de 30.001 seções: 33

Fonte: Folhapress