Tag Archives: pesquisa

Evidência, como encontrar agulhas num palheiro.

agulha no palheiro

O que é evidência? Não evidência significa inexistência? Como podemos encontrar evidência? Quando podemos dizer que temos evidência? Estas são algumas perguntas e caminhos que tentaremos eluscidar nesse texto para que todo iniciante possa fazer sua pesquisa.

Primeiramente vamos a questão chave da sua pesquisa a pergunta que não quer se calar, isso orientará o objetivo de seu trabalho. Segundo é a pesquisa bibliográfica que deverá fazer antes de começar a definir sua metodologia de trabalho para melhor entender do assunto.

Vamos tentar resumir essa experiência com a seguinte imagem. Como encontrar agulhas num palheiro? Você pode tentar separar as palhas até encontrá-las, mas isso certamente demoraria muito e dependendo do tamanho do palheiro pode ser uma tarefa impossível. Você então pode pegar uma pequena parte do palheiro para catar, mais isso não garante que existam agulhas naquele pedaço escolhido. Sendo assim vem a terceira questão, calcular o tamanho mínimo para a amostra. Quanto devemos pegar de palhas para que com um grau bem aproximado de certeza possamos dizer que ali devem ter agulhas. O conceito depende simplesmente do sucesso que estudos anteriores tiveram ao procurar agulhas preferencialmente ou qualquer outro objeto similar no palheiro. Estamos dizendo que o palheiro é a população e as agulhas são os resultados esperados.

Mas conseguiríamos encontrar agulhas e sairíamos mostrando para todo mundo? Não. Não necessitaríamos de pesquisa para o óbvio! No máximo observaríamos agulhadas ou algo que se pareceria com agulhas, mas isso ainda não é evidência. Repetindo, olhar as palhas e catar as agulhas resolveriam a questão? Outro problema, e se não estivessem visíveis? Afinal são agulhas num palheiro. Poderíamos então recorrer a diferentes ferramentas para buscar evidência sobre a existência de agulhas. Sabendo, daí a importância de se conhecer o assunto, que as agulhas brilham sob a incidência da luz poderíamos visualizá-las, além do que elas também espetam ao tato, portanto apalparíamos a palha. Estamos falando agora de intervenções como a luz e o palpar e de formas de mensuração como a visão e o tato, intimamente ligadas ao objetivo e questão do estudo: existem agulhas sobre as palhas daquele celeiro?

Ao falarmos em celeiro incluímos uma parte da população de palhas que estão em determinado lugar com determinadas características. Poderíamos pegar qualquer palha ou entrar em qualquer celeiro? Ou devemos escolher aquele tipo em que seja mais fácil a identificação de agulhas? Obviamente que sim à segunda pergunta, poderíamos também excluir tipos de palhas e celeiros que podem esconder ou confundir a identificação de agulhas que de alguma forma interfeririam no resultado. Como por exemplo, aquelas que estão impregnados de outros metais ou espinhos que possam ser identificados pela luz ou pelo tato como agulhas e não ser, quanto maior a “pureza” da amostra melhor. São os critérios de inclusão e exclusão do estudo respectivamente. Assim como aquelas palhas que trancadas não possibilitam acesso à investigação, a importância ética do consentimento livre e esclarecido. O caminho é sempre o mais fácil e simples, não o difícil. Uma pesquisa não abraça todas as questões e não dá prêmio Nobel a ninguém! Somente uma obra é capaz de conferir esse título.

Mas como usar essas ferramentas na identificação de agulhas? Mesmo escolhendo bem a amostra com os critérios acima, não podemos simplesmente sair por aí tateando o palheiro ou iluminá-lo e achar que tudo que espeta ou brilha são agulhas. Simplesmente porque “as coisas ou são o que parecem ser, não são e nem parecem ser e mais ainda são e não parecem ser ou não são, mas parecem ser” (Epictetus, século II d.C.). Sendo assim para nos aproximarmos da verdade temos que fazer testes que contemplem essas 4 possibilidades de diagnóstico. Esta é uma das razões por que separamos nossos estudos sobre a amostra do palheiro em pelo menos 2 grupos X 2 resultados possíveis. Em um grupo interveríamos de modo a jogar a luz e palpar a palha na expectativa que as agulhas espetem ou brilhem e no outro grupo fingiríamos intervenção, na esperança que neste grupo observaríamos menos picadas ou brilhos que no primeiro. Fingir é importante, pois assim atribuiríamos o aparecimento das agulhas as técnicas de iluminação e tato, afinal pode acontecer que ao passarmos a lanterna não iluminada sobre o palheiro o magnetismo da mesma atraísse as agulhas. Encontrar pontos brilhosos ou agulhadas dessa forma não seríam atribuídos à luz ou ao palpar (à intervenção estudada) e esse teria uma baixa validade interna, a capacidade da aferição de agulhas pela luz e o palpar seria baixa. A identificação dessas agulhadas no grupo controle anularia os resultados do trabalho, sem evidência, o que não quer dizer que não existam. Estamos falando de estudos controlados onde um grupo é o controle (“intervenção fingida”), do outro, o grupo teste (intervenção desejada). Estamos falando também, no caso do magnetismo da lanterna, se conhecido no momento da pesquisa de um viés, um erro no desenho do estudo e se não conhecido de uma provável variável de confusão, pois não permitirá atribuir a luz o efeito de se encontrar agulhas. A luz ou o palpar da palha poderia ser o medicamento homeopático. As agulhadas podem ser um resultado positivo à saúde do paciente. E a lanterna de plástico (sem magnetismo) e com a luz desligada, o placebo. O placebo do palpar poderia ser um braço mecânico sem sensibilidade ao tato.

Eis que surge uma nova questão. E se o pesquisador ou interventor ou as pessoas que medem o experimento estiverem muito desejosas de observarem resultados positivos e por isso, mesmo inconscientemente, escolhessem amostras de palhas mais reluzentes para o grupo teste (com a intervenção real), ou mesmo escolhessem palhas mais macias cuja sensação de espetar seria menos repetitiva no grupo controle (aquele em que fingimos a intervenção)? E se aqueles que medem os resultados ou fazem a pesquisa soubessem qual é o grupo teste e isso os influenciassem a notar mais brilhos ou espetadelas? Estamos falando aqui da necessidade das amostras de palha serem escolhida aleatoriamente e de estudos cegos onde todas as pessoas participantes não sabem qual é o grupo aonde há intervenção real. A aleatoridade na amostra define o que chamamos de estudo epidemiológico tipo ensaio clínico. Aqueles que não tem sua amostra aleatória chamamos de estudos tipo observacionais. Os ensaios clínicos são os únicos que de fato são capazes de mostrar evidências de que alguma intervenção funciona. Já os observacionais sinalizam características/ variáveis diferentes das amostras que mais propiciam a identificação de agulhas. É óbvio também que assim como numa corrida de cavalos todos os grupos devem largar em condições idênticas, com as mesmas chances de ganhar a prova, deixando a diferenciação apenas para as características dos animais. Logo a pista de corrida, a distância a percorrer entre os concorrentes… deve ser igual, grupos homogênios.

E quanto à pergunta de quando podemos dizer que há evidência? É simples notar que ao termos 2 grupos X 2 resultados possíveis: positivo e negativo sendo nossa hipótese verdadeira chegaríamos a equação oriunda de Epictetus (de 4 diagnósticos possíveis; 2 X 2 = 4) onde no grupo teste um resultado positivo representam coisas que são e parecem ser, no grupo controle um resultado negativo significa que as coisas não são e não parecem ser, porém um resultado negativo no grupo teste as coisas são, mas não parecem ser e no grupo controle um resultado positivo as coisas não são mas parecem ser. Sendo assim se tivermos mais resultados positivos no grupo teste e mais resultados negativos no controle do que negativos no teste e positivos no controle, nos aproximaríamos mais da verdade de que existem agulhas no palheiro. E isso é evidência.

Como acreditar numa intervenção? Jesinho e a limonada Suíça.

Jesinho estava gripado e foi orientado pela sua mãe a tomar uma limonada. No caminho da escola para casa viu 2 barracas: uma de limonada e mais adiante outra de limonada Suíça. A primeira custava R$ 1,00 enquanto a segunda R$ 1,70. Como só tinha 1,50 no bolso optou pela primeira. No dia seguinte, ainda não melhor da gripe, decidiu tomar a Suiça, pois, Pedrinho, o dono da segunda barraca, disse que a concentração de vitamina C da Suíça era muito maior, por isso melhor para saúde. No terceiro dia já melhor, levou para a escola sua tese: a limonada Suíça do Pedrinho é melhor para a gripe! Na semana seguinte Quinzinho vendo seu concorrente ter a preferência da garotada, decidiu vender limonada Suíça também… E para não perder os clientes que já tinha manteve o preço de R$ 1,00 pela limonada, agora Suíça. Como saber:

1) Se a limonada suíça é de fato melhor para a saúde que a limonada comum. Ou se é a limonada Suíça do Pedrinho.

2) Se de fato foi a limonada que curou a gripe do Jesinho, ou se foi uma evolução natural da enfermidade. A gripe em média pode durar 3 dias mesmo.

3) Se o preço que Pedrinho cobrava pela limonada suíça não estava muito elevado, deixando-o rico explorando podres alunos, sem ter que bisbilhotar a vida dele.

Estas questões permeiam muitas situações que vivemos: desde a opção por uma terapêutica, a escolha por um modelo melhor de gestão.

Estabelecer uma relação entre causa e efeito entre uma intervenção (as limonadas) e um desfecho (a saúde de Jesinho e da garotada), é sem dúvida fator crucial, para justificar, sua escolha. Para discutirmos esta relação de causalidade encontramos no clássico texto de Sir Austin Bradford Hill, professor emérito de estatística médica da universidade de Londres, as melhores sugestões e respostas. Diferentemente da idéia de associação, causalidade tem uma relação imediata e direta ao contrário da primeira que pode ser remota e indireta. Analisando de outra forma o efeito deve ser intenso o suficiente para chamarmos esta relação de causalidade ( a limonada foi a causa da melhora da gripe). Desta forma a cadeia completa de eventos que levaria a mudanças no estado gripal do Jesinho, poderia até permanecer não revelada (como os cuidados da mãe, tempo de sobrevida do vírus, boa alimentação, repouso…), mas a limonada Suíça teria uma importância diferenciada ao compararmos os resultados gerais (incluindo os históricos) contra os resultados após a introdução da limonada Suíça. Para atribuímos real valor a esta intervenção não podemos deixar de comentar os critérios que Hill elencou como importantes para se atribuir causalidade, tornando a limonada Suíça recomendável:

1)                           Força de associação. Esta forma de análise não tem haver apenas com os fatores de exposição (limonada Suíça) capazes de modificar um objeto (sujeito, Jesinho gripado), mas também com a quantidade de pessoas não expostas ao suco que tiveram ou não melhora da gripe. Para tal seria necessário escolher bem estas pessoas (amostra), de modo a colocá-los numa mesma linha de largada (linha de base) para que nenhum grupo saia na frente com muitas diferenças (critérios de inclusão). Observar outros elementos (variáveis) que poderiam tornar um grupo mais resistente ou frágil que outro (os cuidados da mãe, o tempo de enfermidade, a idade e gravidade da doença…). Estabelecer bem o critério de cura (desfecho). E finalmente comparar os 2 grupos (podendo usar métodos estatísticos ou não).

2)                           Consistência. Para Hill respostas repetidas observadas numa variedade de situações, diferentes técnicas expressas prospectiva ou retrospectivamente são importantes para a atribuição causal. Outras análises envolvendo diferentes enfermidades, em barracas diferentes, com pessoas diferentes ou em momentos diferentes. Análises de casos e controles, coortes, ensaios clínicos, estudos translacionais ou ainda técnicas qualitativas como grupo focal, inquéritos em profundidade… Poderiam não só demonstrar a validade da limonada suíça como revelar outra variável importante nesta situação.

3)                           Especificidade. Aqui postula-se o fato de que além da limonada ter melhorado as condições de saúde dos alunos daquela escola, a gripe foi quase extinta naquele verão em contraposição a uma melhora menos enfática de outros problemas de saúde. Parecendo haver um tropismo da limonada para esta enfermidade, a gripe.

4)                           Temporalidade. É a associação linear temporal que notamos entre a ingesta da limonada e a melhora do Jezinho. Aqui devemos ter um cuidado. Desfechos com processos (períodos de latência) muito arrastados. Gripes já presentes e não claramente identificadas ou já melhoradas, não saberemos se a limonada curou a gripe ou se a melhora da gripe fez Jesinho procurar limonada. Neste caso o aconselhamento da mãe sugere que a limonada antecede a melhora da gripe.

5)                           Gradiente biológico. O fato de tomarmos mais limonada ou a Suíça, batida com a casca do limão, mais concentrada, aumentaria a velocidade ou o número de casos de resposta do organismo em direção a cura. O aumento da dose com conseqüente aumento da resposta sugere causalidade.

6)                           Plausibilidade. Depende do conhecimento anterior, do reconhecido mecanismo de ação da intervenção. No caso aqui a vitamina C é um potente estimulador da imunidade. Atenção! Nem tudo que funciona é conhecido o mecanismo de ação!

7)                           Coerência. Nossa interpretação não deve conflitar seriamente com nosso conhecimento prévio. Neste caso se soubéssemos que limão faz mal a saúde deveríamos procurar outra causa da melhora do Jesinho ou nem perder tempo algum em estudar o assunto.

8)                           Experimento. Ver de fato se medidas preventivas relacionadas afetam a freqüência de associação. Se dermos limonada para todo mundo, poderá haver diminuição dos casos de gripe. Mas cuidado, algumas medidas além de muito custosas, podem não ser muito seguras!

9)                           Analogia. Último e menos importante fator para sugestão de causalidade, nono colocado na hierarquia de Hill. Experiências anteriores podem ser usadas para sugerir causalidade. Neste caso há 5 anos atrás havia um fato: muito menos ausência por gripe quando a merenda escolar oferecida era somente uma cestinha de frutas.

Por fim, após realizados os trabalhos seguindo estes princípios, observaram que a limonada de fato teve uma ação preventiva nas gripes escolares. Que a Suíça do Pedro era a única que realmente melhorava a saúde. Descobriram mais tarde analisando os processos do Quinzinho que sua limonada era feita sem lavar os limões antes de batê-los no liquidificador, com corante artificial para suprir a ausência substancial da fruta e finalmente chegaram a conclusão que a Suíça da barraca do Pedrinho era quase de graça, saúde total por apenas R$ 1,70!

P.S.: A barraca do Quinzinho continuou aberta e fazendo concorrência a do Jesinho. Seus amigos continuavam a comprar a sua limonada, sem olhar para a do Pedrinho. Aqueles que não conheciam os estudos da escola e os que gostavam do gosto de corante também iam na primeira barraca que avistavam…

Risco X Impacto e a Gincana Escolar

Como avaliar se medidas de governo são efetivamente responsáveis pelo desenvolvimento das pessoas? Se diminuem ou aumentam o acesso? Como decidir pelo investimento? Qual a diferença entre risco e impacto de uma ação?

De forma similar pudemos identificar esses problemas na gincana proposta pela Dona Noca, diretora da escola das Matrizes, no verão passado, cuja pretensão era melhorar o desempenho dos alunos submetendo-os a um difícil concurso no qual a escola seria classificada dentro de um ranking de qualidade internacional.

A competição resumia no seguinte: os estudantes deveriam escolher 2 propostas que melhorassem o desempenho escolar. Executadas, aquela que desse melhor resultado seria implantada definitivamente pela direção da escola.

Eleitas as propostas! A de Hugo consistia em melhorar a cantina colocando ar condicionado e um projetor de filmes 3D para os estudantes. Guilherme propôs  reformar a biblioteca dando acesso irrestrito a todas as bases de dados do mundo. Para a avaliação das mesmas antes da consolidação final da proposta vencedora, firmaram-se contratos temporários com uma casa de entretenimento e com a biblioteca nacional que também era próxima da escola. Os resultados seriam aferidos pelas notas nas provas, associando cada grupo de alunos com desempenho A ou B. Os que escolheram o projeto do Guilherme, a biblioteca, não podiam freqüentaram o projeto do Hugo na cantina e vice versa. O desempenho A correspondia as notas acima de 7 e o resultado B de 5 e 7 pontos, as notas abaixo de 5 não foram computadas. O colégio rachou! Contato zero, entre os grupos até o término da avaliação com a exposição dos resultados:

  Desempenho A Desempenho B
Projeto Guilherme 30 669
Projeto Hugo 10 413

A tabela acima de cara sinalizou que havia mais alunos com resultado A e B no grupo da biblioteca que no grupo da cantina. Isto só sinalizava a fragilidade do projeto do Hugo em relação ao do Guilherme, uma vez que ambos os desempenhos foram menores para este projeto. Isto nos parecia lógico uma vez que os problemas pedagógicos daquela escola de classe média alta do Paraná não se encontravam num verão escaldante, menos ainda na falta conhecimento que programas em 3D pudessem acrescentar. A discussão entre os alunos foi elevada e as acusações não faltaram… O projeto G não privilegia a qualidade de vida dos estudantes! O Guilherme é gay!? Lugar de gordo é na cantina…

Pacificado os ânimos, Dona Noca calculou o risco relativo. Mas o que é o risco? É uma medida de força associação (hierarquia primeira nos critérios de Hill sobre causalidade – texto Jesinho e a limonada suíça) usada para julgar se uma associação pode ser chamada de causal. Estima a magnitude desta associação.

O projeto do Guilherme aquele com plausibilidade obteve um força na associação, um risco, bem maior para desempenho A (30/10 = 3) do que para o desempenho B (669/413 = 1.60). Lembremo-nos que o desempenho A é aquele que interessava a diretora para o concurso internacional.

Isto significa dizer que deveríamos investir no projeto do Guilherme? Afinal assinaturas com todas as bibliotecas do mundo custam uma “grana preta” e para tal deveríamos ter certeza de que isso teria um impacto relevante. No mínimo que atingisse os objetivos propostos pela escola. O impacto, uma vez assumida que a associação é forte, ou seja, uma das causas significativas do efeito – desempenho A, reflete o número de estudantes, que podem ter o melhor desempenho com esta iniciativa. Ou seja, (30-10) 20 estudantes com desempenho A, contra (669-413) 256 com desempenho B poderiam ser beneficiados. O fato que tal medida beneficiaria muito mais estudantes com desempenho B que com A, não aproximava o projeto do objetivo da diretora. Apesar de uma melhora de 200% (R=3) no desempenho A contra 60% (R=1.6) do desempenho B, em relação ao projeto da cantina, o impacto sobre 20 alunos apenas, não atingiria a meta necessária para obtenção do certificado internacional, definido em 40% mínimo dos alunos com desempenho A. Sim, toda a escola teria de participar do concurso. Estes 20 alunos não representavam 1% do total de alunos da escola. Mesmo que o projeto da biblioteca tenha de fato elevado o número de alunos com desempenho B e este impacto, 256 alunos, ser bem mais significativo, isto não classificaria bem a escola aos olhos do certificado internacional.

É óbvio que os protestos se intensificaram, agora os partidários do Hugo e do Guilherme se juntaram e exigiram da diretora Noca o investimento na biblioteca. Os pais de alunos ameaçaram retira-los da escola. A diretora cedeu… A escola foi rebaixada na avaliação internacional. Em um ano com o estigma da desclassificação, perdeu alunos, teve que dobrar a mensalidade para manter os serviços, perdendo mais alunos… Ao final de 2 anos a escola das matrizes foi comprada por sua concorrente o colégio João de Barro, cujo diretor foi logo dizendo: Gincanas são proibidas pela instituição!

O dilema. Ser acadêmico ou empresário, eis o viés de seleção!

A meu ver este é o conflito mais comum do trabalho em empresas de todos os tipos. Objeto de divergências persistentes entre empregadores e empregados, alunos e professores é um grande entrave na execução de tarefas. Nosso duelo começa na universidade… Cláudio Maurício era um estilista talentoso, aluno aplicado e mente brilhante. Eis aí a primeira grande diferença:

1) Mente. Assim como entendiam os faraós sua mente era dividida entre necessidade e razão. Metade empresário, metade acadêmico. Seu lado empresário valorizava as notas, o resultado enquanto o outro se preocupava com o aprendizado, discursos mínimos e máximos em permanente conflito.

Por méritos conseguiu estágio entre figuras internacionais. Discípulo do rei da moda sua fidelidade e respeito pelo chefe era notável! Comportamento cordial e senso crítico aguçado logo recebeu convites para expor sua própria grife, quando veio seu primeiro conflito moral:

2) A ética. Nesse momento falou mais alto seu lado empresário. Para acadêmicos a ética muitas vezes é confundida com fidelidade, submissa a uma hierarquia difícil de romper. A hierarquia do pensamento. Para empresários os conflitos éticos só importam se influem diretamente no resultado, sua natureza é terminal e neste caso a oportunidade parecia promissora.

Montar uma equipe foi seu primeiro grande desafio. Prevalecendo seu lado acadêmico:

3) As variáveis. Trabalhou todas as variáveis possíveis, selecionou a melhor amostra entre costureiras e modelos, a mais homogênea possível, criando uma equipe que mais tarde seria reconhecida como a elite da moda. O melhor método de análise. Foco no caminho.

O estresse era total! Estávamos às vésperas da São Paulo Fashion Week, todos os detalhes já haviam sido pensados. Seu primeiro desfile tinha de ser um sucesso, investiu todos os recursos de sua família neste momento. Era tudo ou nada!

4) O risco. Para acadêmicos não passa de uma medida de associação. Mas para empresários é um lugar onde colocam suas vidas. Sua visão futurista não repousa em probabilidades, mas na intuição.

Mas, sempre mas… Algo o incomodava. Faltavam alfinetes! Seu lado acadêmico o fez tropeçar. Como fariam os acabamentos de último momento?

5) A variável de confusão. A contratação de muitos caciques e nenhum índio. O discurso máximo o fez esquecer do elementar. Um Office boy! Aquelas costureiras de ponta preocupadas com o ponto esquecer-se da agulha. Esta variável é aquela que aliada das costureiras (a agulha) poderiam modificar o resultado do desfile, inviabilizando o reconhecimento e esforço da equipe.

Seu lado empresário teria de salva-lo!

6) A velocidade. A necessidade maior que a razão, urgenciando tudo que encontram pela frente, passo a passo, superou mais essa dando uma gorjeta vultosa para o manobrista comprar as agulhas em seu carro. Acostumados a evoluírem em saltos depois de longos períodos de introspecção, a velocidade de acadêmicos são como o flash de uma máquina com pouca bateria. Intelectuais, sofrem com detalhes do dia a dia. Curiosamente apesar de estilista, para não ter que se preocupar com o que teria de vestir, Clássio, como era conhecido popularmente, tinha em seu guarda roupa vários ternos absolutamente iguais…

Com as meninas prestes a entrar na passarela, de repente um ruído e um grito… Santíssima! Ao ver sua principal modelo resvalar num prego acarretando num pequeno corte no seu vestido, Clássio desencarnou! Suas auxiliares desmaiaram, o pânico foi geral, era gente estirada pelo chão pra todo canto… Ao acordar exclamou: eu te amo, minha Deusa! Ninguém entendeu nada… Aquela gente começou a se levantar como se nada tivesse ocorrido, quando de repente Clássio pegou a top model pelo braço e terminou o estrago que o prego havia começado… Voltaram todos para o chão, enquanto o “louco” continuava a rasgar as roupas das demais. O silêncio era estarrecedor…

7) O viés de seleção. Foi desencarnado que teve um insight: roupas rasgadas eram o detalhe que faltava. O desfile veio a sua cabeça seu lado acadêmico revelou o viés e o empresário o pôs em prática. Afinal o que é a moda se não um viés de seleção: o ilógico, o esquisito, o que espanta, o que foge ao comum é também aquilo incrementa o resultado. E resultado é dinheiro…

O desfile foi um sucesso! Convites para lecionar, palestrar, transmitir sua expertise não faltaram… As encomendas inúmeras, maiores que a capacidade de produção colocavam aquelas costureiras perfeccionistas num cai-cai histérico insuportável. A pressão foi aumentando e Cláudio Maurício teve de decidir: adoecia e vendia ou ensinava e não comia…

8) O sonho. Onipotente, o sonho do acadêmico é ser ele verdade. Perseguem a verdade universal, selecionando o real, o comum em busca do invisível… Para o empresário e não menos onipotente, seu sono é ser o primeiro. O primeiro a colocar seu produto no mercado: Modess, Xerox… Procuram pela verdade focal selecionando o diferente, o surreal em busca do visível… Ambos querem reconhecimento!  Serem amados.

Como que dois perfis tão diferentes podem coexistir numa mesma pessoa? Da mesma forma que a mente coexiste num cérebro. Clássio utilizou-se de um e de outro e talvez esta possa ser a fórmula do seu sucesso. Mas… Há sempre um porém!  A idade avançava, o amor crescia a paixão esmilinguia… Anos mais tarde… Clássio foi encontrado num templo budista… Recitando mantras em busca da iluminação.

Dei resultado, fui demitida e esqueceram de mim. O problema dos controles históricos.

1) Dei resultado…

Laura foi contratada para fazer auditoria numa empresa de planos de saúde. Empolgada com o desafio contava ainda com o apoio do conselho que acenava com a possibilidade de crescimento na empresa com o bom desempenho. Trabalhava 12 h por dia. Estruturou uma equipe motivada. Não tardaram a vir os resultados já no primeiro ano. Resultados estes que provocaram mudanças profundas na hierarquia da empresa, liderada pelo conselho.

2) Fui demitida…

As mudanças no organograma deveriam atender a necessidade eminente. Escolheram o diretor de um dos hospitais outrora sob auditoria para execução da tarefa de diretor presidente. Laura, por ser jovem e ainda ter pouco tempo na empresa, ficou subordinada a uma antiga gerente que passou a responder ao diretor presidente. O conselho decidiu pelo próprio isolamento e delegou a maioria de suas atribuições, como preferiam dizer… Foi como colocar um bom policial na mesma cela que seu outrora, refém. Laura não durou mais 1 ano, depois de subordinada a quatro chefias diferentes, foi demitida.

3) Esqueceram de mim…

Não fosse o mal estar e transtorno na vida de Laura, pois estas demissões costumam cursar com “outputs” paranóides de menos valia subentrantes, ela ainda alimentava a esperança que um dia iriam valorizar seu trabalho.

Assumiu um substituto. Uma figura apática, sem a costumeira liderança da auditora anterior. Um ano se passou e foram averiguar os resultados do novo estilo na administração. Surpresa geral entre os funcionários subalternos que simpatizavam com a Dra Laura. Os resultados não mudaram, não foram ruins… Com a vantagem “marketiada” pelo sucessor que a estrutura foi enxugada, logo fazendo mais por menos… Um verdadeiro milagre! E o brasileiro, como bom cristão que é, está sempre flertando com um…

Partindo do pressuposto que não houve corrupção dos dados advogo que existem problemas básicos muito freqüentes na avaliação do trabalho nas empresas:

a)      Não definição prévia ou pobre definição dos objetivos como: baixar os custos com internações. Que tipo de internação ou que tipo de custo?

b)      Baixo controle de variáveis basais fundamentais na avaliação do confundi mento dos resultados, são elas: idade, sexo, intervenções concomitantes, gravidade, tipo de plano médico, renda familiar…

c)      Análise da intervenção/ equipe como desfecho/ resultado – observado na arrogante declaração de que fizeram mais gastando menos. O menor gasto com a equipe seria um resultado melhor? Não. Estão falando da intervenção! E quanto aos custos da internação?

d)      Utilização do desfecho – custo da internação – como uma medida de impacto setorial. Este desfecho só pode ser analisado na empresa como um todo, o que implicaria no controle de muitas outras variáveis preditoras, capazes de influenciar neste resultado.

e)      E finalmente a utilização de controles históricos, os resultados da Dra Laura, na comparação com a nova administração ou intervenção.

Controle é o conteúdo da análise que recebe a não intervenção ou a intervenção antiga, referência para comparação com a nova. Análises sem controles tem um grande potencial para resultados distorcidos, especialmente em mãos de pessoas que realizam mudanças que acreditam ser benéficas ou desejam comprovar sua competência em detrimento da dos demais. O controle deve diferenciar apenas quanto à intervenção. Eis aí o grande problema com relação ao estabelecimento de controles históricos, aqueles ocorridos anteriormente. Há duas áreas de grande incompatibilidade com relação a este desenho de análise, meio e sujeitos, dentre outras:

a)      Comparação em ambientes – locais diferentes – inviabiliza a análise. Pela diversidade, complexidade e distinção observada.

b)      Não há normalmente um critério seguro na inclusão dos sujeitos em controles históricos, logo não se sabe ao certo em cima de que tipo de paciente aquele resultado, da Dra Laura foi obtido. Os pacientes submetidos às duas intervenções podem ser muito diferentes com relação a vários aspectos.

c)      Fatores prognósticos, outras variáveis, só podem ser ajustados na seleção dos grupos controle e não controle. E com controles históricos este momento já passou.

d)     A qualidade de registros é normalmente muito ruim, faltando dados e com dados sujeitos a interpretações diferentes. Redução de custo médio, custo hospitalar ou média de permanência das internações?

e)      O número de desfechos em controles históricos é normalmente bem menor o que pode enviesar o resultado em favor da nova intervenção.

f)       A exclusão de sujeitos na nova intervenção é normalmente maior, selecionando um grupo mais susceptível a intervenção apresentando com isso respostas melhores.

g)      Há uma tendência de melhora com relação ao tempo, por uma série de pequenos ajustes nos processos, logo conquistas anteriores podem contaminar resultados futuros.

h)      Métodos estatísticos não corrigem desenhos ruins!

Com isso o resultado tende sempre a exagerar o valor da nova intervenção para melhor! Confundindo mais que clareando problemas, devendo ser evitado.

É claro que a incompetência reinou, Laura foi esquecida…

Dezesseis anos se passaram… Laura construiu seu próprio negócio e com ele pode levar uma vida confortável…

Quanto à empresa de plano de saúde… Bem esta depois de trocar de presidente quinze vezes nos últimos dezesseis anos, foi vendida para sua principal concorrente, depois de perder 2/3 de seu valor na bolsa de valores.

Laura continuou esquecida.

A licitação do Bolão. O problema de avaliar pela média.

As licitações resolvem os problemas de custos das empresas? Como funcionam licitações em empresas que detêm o monopólio do mercado? O único ou o grande empregador consegue obter o melhor resultado com esta prática?

Bolão era o dono do supermercado em uma cidadezinha do interior. Rei do pedaço, seu poder só se equivalia ao dono da fazenda local, Dr Armando, que mal ficava na cidade tamanha eram as condições insalubres de Piscinópolis. Era também o maior empregador local, o único fiador e filantropo daquela problemática região a qual obviamente já havia sido até prefeito. Ostentava ainda o título de morador mais rico, o que lhe incomodava, afinal como podia ter tanto e sobrar tão pouco? Comparado aos magnatas da cidade vizinha era um pobretão…

Não diferentemente de Piscinópolis se comportam alguns mercados neste país. Governo, seguradoras de saúde, empresas de cimento, sindicatos e alguns setores de bebida e alimentação saem da condição de “empresa” para “mercado” quando por seu gigantismo passam a ser o alvo único ou principal de diversas empresas menores. Sem as características peculiares que regem um mercado livre como autonomia e flexibilidade, aquilo que definem passam a valer para todas as outras empresas do setor, impõem suas condições aos seus fornecedores, não sabem negociar, só barganhar e o que parecia ser uma vantagem competitiva transforma-se no “piscinão do bolão”…

A decisão estava tomada. Vamos baixar os custos da empresa! A saída para evitar os corruptos e alcoviteiros é uma licitação clara e transparente. O alvoroço foi tremendo! A faxina também… A redução de gastos com serviços terceirizados no primeiro semestre chegou a quase 50%. Condições mínimas curriculares e decisão pelo menor preço, obviamente fizeram parte do pacote licitatório. O supermercado contratou uma empresa acostumada com este tipo de concorrência para tocar o projeto e como não dispunha de muita grana negociou um percentual da provável redução dos custos como pagamento à contratada.

Objetivos atingidos. Um ano depois veio a ressaca… Os problemas aumentaram! Reclamações de clientes e prejuízo financeiro basicamente. O pouco lucro que ainda dispunha evaporou! E pasmem… Qual foi a solução ensaiada pelos contratados? Nova licitação!

Dominado por um segundo de iluminação, Bolão esbravejou:

– Chega! E decidiu ele mesmo ver o que estava acontecendo:

1)                            Primeiramente identificou que as pessoas que lhe prestavam os serviços licitados permaneciam as mesmas, logo não parecia ser um problema de pessoal, até a quantidade era adequada.

2)                            Seu único, por assim dizer, possível concorrente, não havia crescido no período de forma significante, logo não parecia ter perdido mercado. As pessoas ainda compravam o mais barato.

3)                            Os custos com os serviços licitados estava realmente menor.

Então qual era o problema? Como que uma empresa que dava um discreto lucro, depois de ter passado por um processo longo e desgastante que foi aquela licitação, estava dando prejuízo? E de pergunta em pergunta foi descobrindo:

Os custos com os serviços, não licitados, ligados a toda e poderosa fazenda do Dr Armando que gozava de uma quase exclusividade duplicou.

Os responsáveis são os auditores! Gritou Bolão! Como foram deixar passar isso e aquilo… Foi quando uma funcionária recém contratada da cidade vizinha lhe disse:

1) – Também… Licitar empresas que vão fiscalizar outras não licitadas dá nisso!

A obviedade assustadora da colocação sapecou um grande silêncio e conseqüente reflexão em Bolão… Percebeu ainda que:

2) A licitação havia mantido os serviços minimamente, mas acabado com a gestão que as mesmas empresas faziam anteriormente.

Desmotivados os mesmos, mas “novos” colaboradores não queriam mais se indispor com os “Armandistas”, partidários da fazenda do Armando. Perderam a crença em resultados, outrora obtidos em empresas que perderam a disputa. Se cansaram de limitar a insaciável gula por “direitos” dos clientes do supermercado e de questionar suas chefias diretas. Estava tudo certo… Estava tudo errado. Os colaboradores eleitos pela licitação descobriram que flertar com o pessoal da fazenda poderia ser a solução. Novas oportunidades e quiçá, receita adicional…Na verdade estas empresas haviam aceitado os valores impostos pelo supermercado apenas para não perderem o cliente, o emprego… Os funcionários eram os mesmos! Haviam migrado para as empresas concorrentes vencedoras da licitação. É muito difícil dizer não para um cliente que é o mercado. As empresas escolhidas passaram a ser meramente uma empresa de recolocação de pessoal, a ordem era prestar os serviços contratados com todas as exigências da renovação que não eram poucas:

3) Eram tantas exigências, detalhes nos contratos firmados que os contratos perderam a pegada, o foco no resultado. O medo de que essas empresas eleitas não cumprissem o contrato, dominou o negócio.

4) A decisão que norteou a maioria das licitações, foi um “equilíbrio” uma média, entre o menor preço e o melhor serviço.

Aquelas empresas consideradas Premium, algumas que recuperavam uma quantia significativa de dinheiro para o supermercado, foram classificadas como empresa A. B para as mediana e C para as insignificantes. Este critério qualitativo não contemplava a quantidade de dinheiro recuperada pelas empresas. Escolhida a empresa B na licitação por ter um preço menor que a A e ter uma classificação razoável, não representava a real diferença de resultados entre A e B. A escolha de parceiros médios, misturando conceitos qualitativos com quantitativos traria resultados no máximo medianos. E na mediana os valores extremos não interferem na média. Os piores, mas também os melhores resultados são naturalmente excluídos. Decisões ponderadas baseadas na opinião média não trazem resultados significativos, mantém o status de “isenção” dos funcionários do supermercado, mantendo o equilíbrio de forças interno, e o desequilíbrio nas contas…

Dois meses passaram…Bolão colocou a recém contratada como CEO do supermercado, passou a fazer contratações baseadas em resultados e performance, perdeu 20 kilos e enfim pode gozar de férias…

O empresário placebo

Estamos todos obsessivamente em busca da verdade, funciona mesmo ou não, dá resultado ou não dá resultado, é bom ou não é… Enquanto desviamos nosso olhar para a pureza destas respostas, a evidência, nós deixamos de ver o óbvio. Exemplificando recentemente Stallone, o astro de Hollywood, entre gravações de seu último longa metragem numa floresta brasileira, ao ser advertido pelo IBAMA pelo barulho produzido nas filmagens, prejudicando então os macacos residentes, indagou: que macacos? O fato é estarrecedor, pois embora não os visse dentre as árvores, a falta da evidência, a fez crer que não existissem… Que me perdoe Descartes em sua célebre frase “penso, logo existo”, mas apropriadamente neste caso: se não vejo, penso que não existe…

Mauro podia ser um destes macacos que Stallone não viu, um brasileiro formado em Oxford, desfilava um currículo invejável: MD, PhD, CEO e VIP voltava ao Brasil. Rapidamente requisitado por empresas, ministrava palestras. Terno impecável e dono de uma requintada sistemática debulhava generosamente sua cartilha para ouvintes que imediatamente respondiam com muita emoção. Os resultados positivos de Mauro para as empresas eram observados imediatamente: melhora no ambiente organizacional, aumento de produtividade e conseqüente lucro financeiro.

Estava tudo indo muito bem até que a assessoria de imprensa de uma das empresas clientes de Mauro disse: esse cara é placebo! Placebo tecnicamente falando é um termo usado para expressar um efeito positivo oriundo de uma “falsa” intervenção. Sem, seu princípio ativo, a substância, o “conhecimento verdadeiro nuclear”, conteúdo ou centro, estas intervenções transformam pelo que está ao redor delas, a casca, seus contextos e suas circunstâncias. Agem por mecanismos de ação que agora a ciência vem revelar:

1)                            Expectativa: é o principal mecanismo de ação destas intervenções. Palestrante famoso, com títulos no exterior, reforçado pela aparência impecável, ambiente suntuoso e atitude generosa deixava os ouvintes excitados com a possibilidade de encontrarem ali a solução para seus problemas, antes mesmo de ouvir o que tinha a dizer.

2)                            Condicionamento: a sistemática requintada que propunha a seus ouvintes requeria esforço e dedicação. O ritual criado para que fosse repetido sempre ao chegar ao escritório tinha a força de uma oração. Relembrava as pessoas de seus objetivos cotidianamente moldando as suas atitudes ao longo do dia.

3)                            Motivação: falar ao coração das pessoas dava mais motivos, energia, àqueles que arduamente garimpavam uma oportunidade. Sem abandonar a razão, esta residia na boa explicação que encontrava, em sua imaginação, para fenômenos comuns. Reforçada ainda pela constante busca por significado ou propósito que retirava de fatos considerado por muitos aleatórios… Tudo isso, conspirava em direção a premiação final… “O topo, o céu”.

Valendo-se da evolução natural creadora e multipartidária que a vida possui, atribuía seu resultado positivo humildemente a Deus. A despeito desta ou daquela empresa mais sisuda ou crítica em busca de um “DNA da verdade”, 50% de resultados positivos não eram de se jogar fora… Desta forma nosso palestrante paulatinamente conquistou simpatizantes, arrebanhou adeptos e criou súditos até constituir a Igreja Universal PARATODOS e se tornar, o pastor Mauro.

P.S.: Stallone continuou sem encontrar evidências de sua existência…

O viés de observação e as tragédias de Joões e Marias

Em reportagens recentes vimos que tanto no buraco promovido pelas obras do metrô em São Paulo sugando veículos e abalando casas quanto as “chuvas” que em Niterói, no Rio de Janeiro, derrubaram barracos na favela do Bumba, provocaram reações diversas e curiosas nas vítimas. Umas correram para salvar vidas, outras documentos pessoais e vejam só vocês, há aquelas que se arriscam para salvar panelas e calcinhas… Sim senhores, calcinhas! Estive refletindo sobre isso e percebi que de forma similar os itens de segurança de um carro são menos valiosos do que acessórios de conforto na hora da venda. Mais gente gasta com cabeleireiros que com consultas médicas, seguro de vida ou planos de saúde. E apesar da multiplicidade de razões para isso, uma parece ser central… O viés!

Maria, 35 anos moradora de classe média teve seu “ap” rachado pelas obras do metrô. Seu João, 65, morador da favela, viu seu barraco escorregar morro abaixo sentado num bar durante uma enxurrada. O que em comum tem estas duas tragédias?

Maria, contadora dirigia uma pequena empresa própria, trabalhava 14h por dia e no final do mês “rebolava” pra pagar as prestações de seu carro zero. João, auxiliar de enfermagem aposentado, levava uma vida tranqüila e pacata dividindo seu tempo entre o bar do Pepe e os “churrascos de gato” que a vizinhança promovia. Ambos foram entrevistados logo após as tragédias com a seguintes perguntas: Qual a responsabilidade do governo nesta tragédia? E agora?

Maria disse que processaria o governo do estado, pois tinha o direito de entrar na casa para retirar seu carro ainda não quitado. João pediu ajuda de Deus e da prefeitura para conseguirem retirar os companheiros debaixo dos escombros.

Eis o primeiro viés, na informação. Um repórter, entrevistador, se quer se aproximar da verdade não pode propor suas suspeitas na pergunta, pois isto sugestiona os entrevistados como no caso de Maria. É como colocar o veredicto antes da acusação, o óbvio atrapalha a verdade.

Curiosamente nenhum dos dois se quer citou ou temeu pela perda de sua moradia naquele primeiro momento. Parecia ser, o carro para Maria e seus vizinhos para João, a verdadeira perda. Eis o segundo viés na observação das vítimas. Damos mais valor àquilo que nos conforta do que aquilo que nos dá segurança. Dez entre dez pessoas perguntadas de forma mais adequada sobre o que é mais importante para vítimas de uma tragédia provavelmente diriam moradia, alimentação e cuidados médicos. Pessoas que passaram por tragédias tendem a pensar mais sobre causas, conseqüências com critérios muito pessoais de valoração, não sendo assim os únicos sujeitos adequados a escuta na busca de aproximação com a verdade. Para Maria era seu carro que aliviava a dor. Dor de um dia extenuante de trabalho, dor esta que aumentaria caso lhe restasse apenas a prestação. Para seu João, a solidão, distraída pelos churrascos da vizinhança era o que atenuava sua dor. Assim como nas moradias de João e Maria não costumamos valorizar nosso corpo enquanto não dói… Valorizamos aquilo que este corpo pode nos proporcionar: o prazer, o conforto e o alívio. Evacuar, urinar, embelezar-se, dormir ou gozar é muito mais importante que cuidar, manter ou trabalhar. Este desvio de nossa atenção para um foco secundário não nos permite evoluir. Nos coloca na gestão das urgências e longe de estratégias futuras. Só nos trazem soluções temporárias. Assim como os analgésicos que aliviam a dor, mas não resolvem os problemas de saúde. Conforto e prazer são sinônimos de saúde e para isso basta um comprimido de Viagra…

O viés é erro sistemático, no desenho, na estrutura de uma pesquisa que influencia negativamente ou positivamente resultados afastando-os da verdade. Entrevistadores não isentos, perguntas mal formuladas, informações mal distribuídas ou captadas, com foco não abrangente em um tipo de participante, segmento ou problema, direciona o resultado e a culpa para o governo, o carro da Maria, as chuvas do Rio de Janeiro ou até mesmo para a comunidade do João… Menos para a verdade!

Uma sociedade enviesada para o prazer e o consumo, que tenta afugentar a dor, progride, mas não desenvolve. A diferença é que no progresso as coisas continuam como estão. Os problemas continuam ocorrendo e se repetindo. O que melhora é a velocidade e a quantidade de soluções temporárias. Continuamos a viver em castas com 10% da população controlando 50% da renda deste país. Continuamos a exercer a medicina de robôs, placas e parafusos, comprimidos diários necessários a sobrevivência, sem correções de rumo, sem aprendizado real, sem evolução. Permanecemos num lugar em que os relacionamentos e a eugenia se sobrepõem as competências, ao conhecimento e a democracia de direito. A democracia como direito de todos só é atingido pelos que tem poder para acessar o estado e este, uma vez dominado, apenas cobra dos cidadãos, perdendo sua função de servir.

O salvamento de vítimas com conseqüente “churrascão sem custos”, oferecido pela prefeitura a comunidade do seu João e o carro com motorista cedido à Maria pelo estado, aliviaram a sua dor, conquistaram seus votos e os fizeram esquecer dos problemas. Pergunto: a intervenção rápida do estado resolveu o problema dos deslizamentos em morros e obras levianas? Não. Mas inocentou o algoz…

 

Samanta, a maçã e a cura. Probabilidade X Diagnóstico e Terapêutica

Operadora de telemarketing trabalhava 6 hora por dia. Em frente, um computador sempre fora da rede, ao lado, um fone de ouvido que não parava de gritar e atrás, uma gerente que pressionava por produtividade. Nome de feiticeira, corpo exagerado e sensibilidade de menina, Samanta se virava nos trinta… Durante o expediente sentia uma leve dor lombar. Atendida pela turma da ginástica laboral, saiu o primeiro diagnóstico e tratamento. Parecia que os exercícios melhoravam a dor. A procura do que a molestava, o cardiologista fez um diagnóstico cardiológico, o psiquiatra um psiquiátrico e o ginecologista um ginecológico e é claro que o fisiatra recomendou fisioterapia. Hoje em dia ou você acerta na “loteria” quando tem um problema de saúde ou vai sair por aí cheio de diagnósticos e tratamentos pouco eficazes. Não que tenham sido inventados, pois Samanta estava mesmo com a pressão levemente alterada, ansiosa e com um corrimento recidivante. Mas buscar a cura desta paciente tratando sistemas isolados é o mesmo que tentar conduzir uma vaca puxando pelo rabo. A propósito o endocrinologista falou numa tal de síndrome metabólica…

Meses se passaram e apesar da melhora, Samanta ainda não se sentia confortável. Uma boa amiga lhe recomendou uma psicóloga que atribuiu seu mal estar aos conflitos com a mãe, o sexto diagnóstico. Como não podia trocar de mãe e seu plano não reembolsava as consultas para a reposição materna virtual, interrompeu a terapia.

Como é possível tantos diagnósticos para uma só criatura? Talvez a resposta não esteja apenas na empresa do mal, nos doutores do bem ou na paciente problemática. Talvez o problema esteja no processo de diagnose e tratamento.

Imaginemos uma maçã. Isso, por dentro podre, por fora viçosa. Assim estava Samanta. Como chegar ao núcleo podre? Podemos usar uma faca e cortar pedaços, tangentes da maçã, até encontrarmos a zona escura. É ou não semelhante ao que se faz em cirurgias e quimioterapias? Podemos também como nossas avós, descascar lentamente essa maça da periferia para o centro até revelar a podridão. Assim foi feito com Samanta, retirando a casca, bloquearam respostas fisiológicas compensatórias periféricas com anti hipertensivos, ansiolíticos e cremes vaginais. Terceira opção: olhar pacientemente para a maçã até encontrar aquele pontinho mais escuro, a ponta do iceberg, que nos leva ao desenganado, proposto pela psicóloga. Parece óbvio que tanto na primeira quanto na segunda estratégia ficaremos mais cedo ou mais tarde sem a maçã e isto de fato deve ser uma opção terminal. Mas, também ver o pontinho e dizer que o problema está internamente próximo ao caroço, não é terapêutico. Afinal são nos caroços, pai e mãe, que sempre está nossa origem biológica. Identificar e destruir a origem visível não resolve a enfermidade! Ou vocês acreditam que os antibióticos curam 100% das infecções bacterianas? Sem um trabalho continuado de desenssibilização dos “pontinhos obscuros”, reeducação física e mental, não acabamos com o sofrimento. É incrível que ainda nossa modalidade principal de diagnóstico e tratamento são baseados no corte de maçãs…

Vitimados por um viés matemático, nossa visão probabilística direcionada para o diagnóstico e a terapêutica busca o comum, o provável e nos ensina subliminarmente que ao excluirmos um pedaço da maçã aumentamos as chances de nos aproximamos do problema, o que é verdade. Destruímos o fruto, pois o erro é bem vindo no mundo probabilístico, pois aumentam as chances de acerto. Identificamos e tratamos probabilidades! Enfim, a pergunta é inevitável: Este é o melhor meio para decisões individuais em saúde? O que fazer diante deste paradigma?

Nem todos os meios de diagnóstico e tratamento se baseiam em probabilidades! Um olhar para o raro, diferente, incomum, não populacional, porém intenso, por contaminar todo o universo pessoal do enfermo, pode orientar uma terapêutica peculiar e específica para a cura.

Samanta depois de um longo penar encontrou o que precisava e como num feitiço diminuiu a ansiedade, se livrou dos anti hipertensivos e o corrimento desapareceu. A propósito sua mãe continuava a lhe importunar e seu trabalho também…