A Arte de Manipular Taxas

Existem muitas situações onde alguém tem interesse em manipular pessoas. Técnicas de manipulação existem aos montes, mas uma das mais eficientes é, sem dúvidas, através dos números.

A estatística, por exemplo, é uma tentativa de prever-se resultados futuros baseando-se em dados do passado. Se a estatística for bem feita, pode de fato conseguir fazer previsões, mas também pode ser inteligentemente manipulada para distorcer previsões.

Da mesma forma, números verdadeiros podem ser manipulados de forma a apresentarem resultados falsos.

Abaixo são apresentadas algumas destas técnicas, muitas das quais baseadas no livro "The Art Of Computer Systems Performance Analysis", de "Raj Jain", em seu 11º capítulo ("Ratio Games").

Taxas (ratio, em inglês) são coeficientes que permitem mascarar índices de performance com os competidores. O cálculo de uma taxa é feito através da relação entre dois valores, um numerador e um denominador (base). O segredo da manipulação de taxas é sutil: duas taxas com bases diferentes não são comparáveis. A técnica de usar taxas com bases incomparáveis e combiná-las em uma única é chamada de "ratio game", ou "jogo de taxas".

Há muitas maneiras explícitas e implícitas de usar as taxas com o objetivo de vencer, como num jogo:

1. Escolhendo um Sistema de Base Apropriado

Conceito: a maneira mais simples de demonstrar seu uso é apresentando a performance de dois ou mais sistemas funcionando em diversas cargas de trabalho. A técnica pode ser utilizada tanto em comparações técnicas na área da computação, quanto comparando-se desempenhos de empresas e governos.

Receita: mede-se a taxa de performance para cada carga de trabalho e então usa a taxa média para mostrar que o sistema proposto é melhor que o do concorrente.

Exemplo: manipulação de taxas onde há três modos de medir a performance de dois sistemas A e B.

• Pegar a média da performance de cada sistema individual e então calcular a taxa;
• Normalizar a performance de cada sistema em cada carga de trabalho pela do sistema A e então calcular a média entre as taxas;
• Normalizar a performance de cada sistema em cada carga de trabalho pela do sistema B e então calcular a média entre as taxas.

Esse exemplo mostra que através da escolha apropriada do sistema base pode-se reverter a conclusão sobre qual dos dois sistemas é melhor.

2. Usando a Métrica Apropriada

Conceito: outra forma de manipular a taxa é escolhendo uma métrica obtida através de uma taxa de duas diferentes métricas.

Receita: compara-se dois sistemas A e B em diferentes métricas, descobrindo-se que A é melhor que B em uma métrica, porém pior em outra. Desta forma, apresenta-se apenas aquela que interessa como comparação entre os dois sistemas.

Exemplo: em uma rede de computadores, há dois fatores que devem ser levados em conta: throughput (quantidade de dados que é possível transferir através de um dispositivo num intervalo de tempo) e tempo de resposta.

• Medir o throughput e o tempo de resposta em duas arquiteturas de rede, onde observa-se que a rede A tem um throughput maior (numa métrica HB, Higher is Better, onde quanto maior melhor), mas também tem um maior tempo de resposta (numa métrica LB, Lower is Better, onde quanto menor melhor);
• Os projetistas da rede A sugerem que a métrica certa para comparar as redes é o poder, o qual é definido como uma taxa entre throughput e tempo de resposta;
• Os resultados transformados levam a crer que a rede A é melhor que a rede B.

Sistema	Throughput	Tempo de Resposta	Poder
A	10	2	5
B	4	1	4

3. Manipulando Taxas com Percentagens

Conceito: percentagens são, basicamente, taxas. Elas permitem manipular as taxas de modo a não se parecerem com taxas. Esta técnica é útil quando o desempenho antes do ganho ou o aumento de desempenho total não impressionam.

Receita: elas podem ser usadas para ter um impacto psicológico no leitor: números grandes chamam a atenção imediatamente!

• A base na porcentagem deveria ser o valor inicial, aquele que vem primeiro na ordem cronológica;
• Entretanto, pessoas que desejam vender um produto (ou idéia) agressivamente, ignoram este conceito e especificam porcentagens à respeito dos valores finais.
  

Exemplo: um ganho de 1000% parece mais impressionante do que um ganho de 11 vezes.

• Ao invés de dizer que a vazão da rede aumentou de 1 pacote por segundo para 11 pacotes por segundo, é melhor dizer que a performance foi aumentada em 1000%;
• Ao invés de dizer que o número de mulheres na magistratura, num universo total de juízes convenientemente não informado, aumentou de 10 para 60 juízas num determinado período, é melhor dizer que houve um aumento de 500% no número de juízas (mesmo que isso represente uma parcela ínfima do universo total de juízes, como será exemplificado abaixo).

4. Descontextualizando Taxas

Conceito: para uma taxa ser calculada são necessários valores e fórmulas.

Receita: o resultado de uma taxa é apresentado, porém omite-se os parâmetros e critérios utilizados na pesquisa.

• Um ganho impressionante relativo a valores anteriores, sem a devida contextualização dos valores envolvidos, pode realmente dar a impressão de que o ganho aparentemente impressionante é significativo, mas impressionante e significativo são conceitos completamente diferentes;
  
• "Mostre-me seus fluxogramas e esconda-me suas tabelas e eu continuarei enganado; mostre-me suas tabelas e seus fluxogramas serão supérfluos".

Exemplo: um ganho impressionante num universo em que este ganho é insignificante.

• Extendendo-se o exemplo citado anteriormente, do número de juízas, podemos considerar dois momentos diferentes: A e B. No momento A, são 10 juízas num universo de 10.000 magistrados. No momento B, são 60 juízas num universo de 100.000 magistrados. Entre A e B o crescimento do número de mulheres na magistratura foi de 500%: impressionante! Entretanto, no momento A as mulheres representam míseros 0,1% do universo total, enquanto no momento B representam ainda mais míseros 0,06% do total: insignificante!
• Trata-se de uma informação verdadeira, porém descontextualizada, dando a impressão de que a situação melhorou significativamente: 500% é um número impressionante! Apresentado sozinho, sem a referência aos insignificantes 0,1% ou 0,06% a que esses impressionantes 500% dizem respeito, dá a impressão de que a situação das mulheres na magistratura está significativamente melhor, quando na verdade a melhoria teria sido insignificante! De fato houve uma melhoria: em relação aos números do passado! De fato houve uma piora: em relação aos números totais! Estas informações podem ser apresentadas conforme os interesses envolvidos. A forma mais justa de apresentar este tipo de informação é apresentando, junto com as percentagens, as fórmulas e valores envolvidos.

5. Estratégias para Vencer um Jogo de Taxas ("Ratio Game")

• Se um sistema é melhor em todos as comparações, então não pode-se tirar conclusões contraditórias por qualquer técnica de manipulação de taxas (conclusão contraditória significa que um sistema é o melhor com uma base e um outro é o melhor em alguma outra base);
• Até se um sistema é melhor que outro em todas as comparações, uma melhor performance relativa pode ser mostrada selecionando-se a base apropriada;
• Se um sistema é melhor em alguma comparação e pior em outra, conclusões contraditórias podem ser tiradas em alguns casos;
• Se a métrica de performance é do tipo LB (Lower is Better - quanto menor melhor), é melhor usar seu sistema como base;
• Se a métrica de performance é do tipo HB (Higher is Better - quanto maior melhor), é melhor usar a base do seu concorrente --> uma maior taxa média pode ser obtida do Sistema A se o Sistema B é usado como base;
• Aquelas comparações que apresentam-se melhor no seu sistema devem ser alongados e aqueles que apresentam-se pior devem ser diminuídos;
• É importante ter-se em mente que a média de uma taxa não é o modo correto de analizar-se um dado, mas infelizmente isto é feito tão freqüentemente que é útil saber essas regras para auto-proteção;
• O método correto para analizar-se dados do mesmo modo é usando técnicas para analizar projetos experimentais, que pretendem ser imparciais.

6. Utilizando Médias

Conceito: médias podem ser utilizadas de forma a mascarar limites máximos ou mínimos.

Receita: soma-se todos os valores de um determinado contexto (espaço amostral) e divide o resultado total pelo número de amostras, omitindo na apresentação do resultado os valores extremos, de forma a "uniformizar" eventuais desigualdades.

Exemplo: utilizar médias para (ou pode) esconder diferenças gritantes entre valores dentro de um mesmo contexto.

• A temperatura média do corpo de um indivíduo pode ser feita através da soma da temperatura da cabeça com a dos pés, dividindo-se o resultado por 2. Se a cabeça estiver a +174 ºC e os pés a -100 ºC, temos que (+174) + (-100) = 74, dividindo-se esta soma por 2, temos 74 / 2 = 37! A temperatura média deste indivíduo é, aparentemente, normal: 37 ºC. Entretanto, percebe-se que é impossível que esteja vivo!
• Uma pista de pouso possui medidores de nível d'água (tecnicamente chamado de lâmina d'água), para dias de chuva, a cada 20 metros. Sabe-se que se em algum trecho da pista houver mais do que 40mm de água, a pista não deve mais ser operada. O protocolo de segurança de vôo utilizado nesta pista, entretanto, diz que a média máxima não pode ser superior a 40mm de água. Se em quase todos os trechos houver apenas 1mm de água e num único deles houver 200mm de água, sabe-se que a operação neste trecho está insegura e, conseqüentemente, toda a pista (uma vez que não é possível isolar-se os trechos numa pista contínua). Entretanto, a média máxima pode estar muito abaixo dos 40mm, e a pista continuará sendo considerada segura! Um perigo que, infelizmente, não é apenas teórico!
• Um exemplo prático de pista de pouso em condições extremamente inseguras, mas que continua operacional: um determinado aeroporto possui 1.900 metros de comprimento, e um medidor de nível d'água a cada 20 metros. No total há 95 medidores. Se num dia chuvoso 90 dos medidores registrarem que a lâmina d'água é de 10mm e os outros 5, correspondentes a uma faixa de 100 metros, registrarem 200mm, temos que a média (informação inútil também neste caso) é a seguinte: (90 medidores * 10mm) + (5 medidores * 200mm) = 1.900 mm / 95 medidores = 20 mm/medidor. A média máxima sendo de 40mm, portanto, não foi atingida, e a pista continua sendo considerada apropriada!
  
• A população de um país qualquer é de 1.000 habitantes. Sabe-se que 1 deles tem uma renda anual de US$ 1.999.001 e que a dos demais 999 é de apenas US$ 1. O cálculo da renda per capita deste país é feito da seguinte forma: (1 habitante * 1.999.001 dólares) + (999 habitantes * 1 dólar) = 2.000.000 dólares / 2.000 habitantes = 1.000 dólares/habitante. A média das rendas deste país não mostra nenhuma informação importante relativa às desigualdades de renda (ou sociais) existentes no mesmo.
  

7. Conclusão

• A principal razão pela qual a análise de taxas resultam em resultados contraditórios é que a aproximação de extrair um significado da taxa é errada;
• A aproximação ignora completamente o fato de que a performance é afetada tanto por muitos fatores quanto por erros de experimento;
• A utilização de taxas pode ser feita de forma extremamente tendenciosa, manipulando completamente os resultados a fim de dar a forma desejada aos números, sem utilizar-se de qualquer inverdade, mas apenas uma literal manipulação da verdade;
• O consumidor das informações deve procurar saber quais os parâmetros e critérios utilizados em uma pesquisa para saber se aqueles dados, por mais verdadeiros que sejam, não estão mostrando apenas uma verdade colorida que interessa única e exclusivamente a objetivos excusos.