Robert Todd Carroll
Busca no Dicionário do Cético |
meta-análises
A meta-análise é um tipo de análise de dados em que os resultados de vários estudos - sem que necessariamente algum deles tenha encontrado algo de significância estatística - são agrupados e analisados como se fossem o resultado de um único grande estudo.
Os resultados de experiências ganzfeld, por exemplo, têm variado enormemente, indicando que os resultados dependem muito de quem conduz o experimento. Entre 1974 e 1981, cerca de 42 experimentos ganzfeld tiveram seus resultados relatados ou publicados. Charles Honorton alegou que 55% desses estudos reportados encontraram evidências positivas da existência de algo interessante, senão paranormal. Isto é, pouco mais da metade dos estudos produziu resultados estatísticos que não se deviam provavelmente ao acaso. Os dados poderiam dever-se a psi, mas poderiam também dever-se a vazamento sensorial ou a alguma outra deficiência metodológica.
Em 1981 ou 1982, Honorton enviou todos os estudos relatados ao cético Ray Hyman, que em seguida fez uma meta-análise deles. Concluiu que os dados não ensejavam a crença em psi, principalmente pelas muitas falhas que encontrou nos próprios experimentos. Hyman refinou os dados reduzindo-os a 22 estudos de 8 investigadores (746 testes, que compunham 48% da base de dados). Encontrou uma taxa de acertos de 38% para esses estudos. Mas após fazer ajustes levando em conta o viés de seleção e a qualidade do estudo, calculou a taxa de sucesso na replicação como 31%, e não 55%.
Na opinião de Hyman, 58% dos estudos usaram procedimentos inadequados de casualização. Também encontrou problemas de vazamento sensorial, (por exemplo, as salas não eram à prova de som e os vídeos podiam ser ouvidos pelos experimentadores) e com alguns dos procedimentos estatísticos utilizados. Escreveu:
Até onde sei, fui a primeira pessoa a fazer uma meta-análise de dados parapsicológicos. Fiz uma meta-análise dos experimentos ganzfeld originais como parte da minha crítica a esses experimentos. Minha análise demonstrou que certas falhas, especialmente de qualidade de casualização, realmente tinham correlação com o resultado. Sucessos tinham correlação com metodologia inadequada. Em resposta às minhas críticas, Charles Honorton fez sua própria meta-análise dos mesmos dados. Também usou as falhas como critério para classificar os dados, mas concebeu esquemas de classificação diferentes dos meus. Em sua análise, os índices de qualidade não tinham correlação com o resultado. Isso aconteceu, em parte, porque Honorton encontrou mais falhas em experimentos mal sucedidos que eu, ao passo que eu encontrei mais falhas em experimentos bem sucedidos que ele. Presumivelmente, tanto eu como Honorton acreditamos ter classificado a qualidade de uma forma objetiva e imparcial. Ainda assim, ambos chegamos a resultados compatíveis com nossas idéias pré-concebidas. (Hyman 1996)
Quinze dos estudos apareciam em periódicos revisados, vinte eram resumos de artigos apresentados em encontros da Parapsychological Association, cinco eram monografias publicadas e dois eram teses de graduação em biologia. Quando Honorton fez sua meta-análise, selecionou 28 desses estudos. Carl Sargent havia feito 9 deles, Honorton havia feito 4, John Palmer 4, Scott Rogo 4, William Braud 3 e Rex Stanford 3. Sargent representava cerca de 1/3 da base de dados.
Honorton, em sua meta-análise dos 28 estudos, concluiu que em vez de um resultado esperado pelo acaso de 25% de identificação correta pelos receptores, o resultado real era de 34% de acertos — resultado este que não poderia ser razoavelmente explicado como ocorrência aleatória ou casual, ou seja, que era estatisticamente significativo.
No entanto, Hyman levanta uma questão crucial a respeito das meta-análises: crédulos e céticos classificam os estudos de forma bem diferente, embora ambos pensem estar sendo justos e imparciais. Honorton concordava com Hyman de que havia problemas com alguns dos estudos e que não poderia ser tirada nenhuma grande conclusão até que fossem feitos estudos posteriores, estudos esses que deveriam ser bem rigorosamente desenhados e controlados.
Hyman não achava que os dados pudessem ser explicados pelo efeito gaveta, mas poderia estar errado. Não há nenhum método padrão para se determinar quantos estudos teriam que existir na gaveta para que uma meta-análise fosse anulada. Diferentes estatísticos empregam diferentes fórmulas, com resultados significativamente diferentes. A questão da gaveta de arquivo poderia ser evitada simplesmente com a execução de experimentos individuais maiores, sob condições rigorosas.
O parapsicólogo Dean Radin é grande apreciador de meta-análises. No livro, The Conscious Universe [O Universo Consciente], ele emprega os resultados meta-análises para demonstrar a existência de psi. Com relação aos estudos ganzfeld, alega que os resultados de Honorton não se deveram ao efeito gaveta. De fato, calcula ele - embora não diga como - seriam necessários 17.974 estudos engavetados para cada estudo publicado para que os dados fossem anulados. Honorton havia feito sua própria análise de efeito gaveta e "concluiu que seriam necessários 423 estudos não-reportados com resultados em média nulos para que se pudesse atribuir o efeito geral encontrado nos 28 experimentos desta amostra como devidos a seleção de dados... cerca de mais de 15 estudos não publicados para cada estudo publicado" (Radin 1997). No entanto, outra forma de analisar os dados indica que seriam necessários apenas 62 estudos engavetados, o que corresponde a apenas pouco mais de dois estudos não publicados para cada um que foi publicado. (Stokes 2001). O fato é que qualquer fórmula estatística usada para se especular sobre quantos estudos seriam necessários para se obter resultados nulos antes que uma meta-análise seja anulada é arbitrária. É útil observar que em 1975 a American Parapsychological Association estabeleceu uma política oficial contra a prática de relatarem-se seletivamente apenas os resultados positivos.
Susan Blackmore visitou o laboratório de Carl Sargent e disse o seguinte:
Aqueles experimentos, que no papel pareciam tão lindamente projetados, eram na verdade abertos à fraude ou erro de diversas maneiras, e de fato detectei vários erros e falhas no cumprimento dos protocolos enquanto estive lá. Concluí que os artigos publicados davam uma impressão injustificada dos experimentos e que não se poderia confiar nos resultados como evidência de psi. Finalmente, os experimentadores e eu publicamos nossas diferentes visões sobre o caso (Blackmore 1987; Harley e Matthews 1987; Sargent 1987). O principal experimentador abandonou inteiramente a área.
Eu não me referiria a esse triste incidente novamente, se não fosse por uma única razão. Os dados de Cambridge estão todos na revisão de Bem e Honorton, mas sem os créditos. Dos vinte e oito estudos incluídos, nove vieram do laboratório de Cambridge, mais que de qualquer outro laboratório, e tiveram o segundo maior efeito depois dos do próprio Honorton. Bem e Honorton realmente argumentam que um dos laboratórios contribuiu com nove dos estudos, mas não dizem qual. Não se expressa sequer uma palavra de dúvida, não se faz nenhuma referência à minha investigação e nenhum leitor casual poderia imaginar que houve tal controvérsia a respeito de um terço dos estudos na base de dados. (“O que o paranormal pode ensinar-nos sobre a Consciência?” 2001)
O Físico Victor Stenger chama a meta-análise na parapsicologia de "um procedimento dúbio... no qual os resultados estatisticamente insignificantes de vários experimentos são combinados como se fossem um experimento controlado e único" ("Meta-Análise e o Efeito Gaveta"). Teoricamente, seria possível fazer cem experimentos com amostras pequenas e todos com resultados negativos, ao passo que uma meta análise dos mesmos dados produziria resultados estatisticamente significativos. Isso deveria nos lembrar que estatisticamente significante não quer dizer cientificamente importante.
Veja também Princeton Engineering Anomalies Research.
leitura adicional
Blackmore, S.J. 1987. "A report of a visit to Carl Sargent's laboratory." Journal of the Society for Psychical Research 54: 186P198.
Harley, T., e G. Matthews. 1987. "Cheating, psi, and the appliance of science: A reply to Blackmore." Journal of the Society for Psychical Research 54: 199P207.
Hyman, Ray. 1996. "The Evidence for Psychic Functioning: Claims vs. Reality." Skeptical Inquirer.
Sargent, C. 1987. "Sceptical fairytales from Bristol." Journal of the Society for Psychical Research 54: 208P218.
Stenger, Victor J. (2002). "Meta-Analysis and the File-Drawer Effect." Skeptical Briefs.
Stokes, Douglas. 2001. “The Shrinking Filedrawer.” Skeptical Inquirer.
Robert Todd Carroll
traduzido
por
Ronaldo
Cordeiro