List
Acaba de ser publicado um working paper com uma ideia que achei excelente para atacar o sério problema de replicação na ciência. Gostaria de brevemente comentar o texto aqui, mas vamos por partes. Do que se trata esse problema de replicação, também chamado de problema de reprodutibilidade?
Resumindo, replicar um artigo – testar a mesma hipótese usando o mesmo método – para verificar se o resultado encontrado continua positivo é extremamente importante para aumentar a confiança que temos nas descobertas científicas. Contudo, o sistema de incentivos atual na academia não estimula que sejam publicados trabalhos de replicação, preferindo estimular a novidade das análises. Nos últimos anos, têm crescido a conscientização sobre o tamanho desse problema. Estudos de replicação em diversas áreas — principalmente nas humanidades, mas não apenas elas — mostram que pode chegara 50% o número de artigos publicados cujos resultados não foram possíveis de replicar. Dois estudos recentes sobre o tema nas áreas de economia e psicologia agitaram as discussões sobre a crise de replicação. No entanto, o próprio estudo que encontrou as falhas nas pesquisas da psicologia, aparentemente, tinha ele mesmo falhas estatísticas graves que, quando corrigidas, não encontram um problema tão grande de replicação assim na área.

Além da falta de incentivo para publicar estudos cujos resultados não são novos, há também o muito conhecido viés de resultados positivos — não raro, também um viés de resultados “dramáticos”. Como coloca o excelente site de difusão de discussões sobre ética científica Retraction Watch, estudos que mostram que algo tem um efeito positivo sobre alguma outra coisa têm uma probabilidade muito maior de serem publicados do que estudos que mostram a ausência de efeitos.

Chegamos então ao texto para discussão que acaba de ser disponibilizado no NBER. Os autores Luigi Butera e John A. List trazem uma proposta inovadora para alterar um pouco o sistema de incentivos em favor de estudos que foram replicados pelo menos uma vez. A razão para tanto é que um único estudo de replicação que confirme o resultado positivo aumenta drasticamente a probabilidade daquele achado ser verdadeiro. Ainda está longe de ser o suficiente para ter certeza (certeza é algo muito difícil em ciência), mas é uma ajuda muito forte que eliminaria boa parte dos falsos positivos que são criados todos os anos por pesquisas sem replicação.

Para entender como um estudo afeta a probabilidade de um efeito ser verdadeiro, recomendo o texto muito didático de Altman, N. e Krzywinski, M. (2017), publicado na revista Nature. Para entender as probabilidades após uma replicação positiva ou negativa, o texto de Butera e List que estou comentando aqui é bastante claro, basta ver os gráficos nas páginas 19 e 20. Este outro texto da Nature também é didático e ilustrativo.

Bom, qual a ideia de Butera e List, afinal? Traduzo aqui o resumo do texto deles:

Por sua própria natureza, novos achados empíricos tendem a ser não-antecipados e em algumas casos contradizem o atual estado de conhecimento em um tópico. A mecânica da inferência estatística sugere que tais achados iniciais, mesmo quando robustos e estatisticamente significativos dentro do estudo, não deveriam mudar de forma apreciável os priors* do fenômeno sob investigação. Ainda assim, poucas replicações bem concebidas e independentes dramaticamente melhoram a confiabilidade de novos achados. Ainda assim, os incentivos para replicar dificilmente são encontrados nas ciências, especialmente nas ciências sociais. Propomos um mecanismo de incentivos compatível com a promoção da replicação e usamos a economia experimental para iluminar nossa abordagem. Começamos reportando resultados de um experimento no qual investigamos como a cooperação em jogos alocativos é afetada pela presença da incerteza Knightiana, uma característica muito presente nos bens públicos, porém pouco explorada. Contrariando as expectativas, encontramos que adicionar incerteza aumenta a cooperação. Esse resultado surpreendente serve como um teste de caso para nosso mecanismo: ao invés de mandar este artigo para um periódico com revisão por pares, nós o tornamos disponível online como um texto para discussão, mas nos comprometemos a nunca submetê-lo a um periódico para publicação. Ao invés disso, nós ofereceremos co-autoria em outro artigo com outros autores, ainda a ser escrito, que estejam dispostos a replicar nosso estudo. Esse segundo artigo fará referência a este texto para discussão, incluirá todas as replicações e será submetido para um periódico com revisão por pares para que seja publicado. Nosso mecanismo permite ganhos mutuamente benéficos para o intercâmbio entre os investigadores originais e outros acadêmicos, alivia o problema de viés de publicação que comumente circunda novos resultados experimentais e acelera o avanço da ciência econômica ao alavancar os mecanismos de inferência estatística. (Butera e List, 2017).

*Prior é a probabilidade de uma hipótese ser verdadeira antes de uma observação empírica que a comprove seja realizada. Por exemplo, o prior de uma hipótese como “beber água aumenta o risco de câncer” é infinitamente baixo, isto é, a hipótese é extremamente implausível. Um estudo que a confirme aumenta a plausibilidade da hipótese ser verdadeira, mas como originalmente ela era muito implausível ela continuará implausível após o estudo a confirmar. Seriam necessários muitos estudos para que pudéssemos ter confiança numa hipótese dessas. Já o prior de uma hipótese como “o aumento da renda de uma pessoa aumenta seu consumo” é extremamente alto, isto é, a hipótese é muito plausível. Um estudo que a comprove aumenta ainda mais a chance dela ser verdadeira. Mas esses são dois extremos banais que podemos dizer que os priors são extremamente baixos ou altos com segurança. Na maioria dos casos é difícil dizer qual é o prior de uma hipótese, daí a importância de ter um ou mais estudos testando e falseando hipóteses. Recomendo novamente este artigo da Nature para quem tiver dúvida. Para quem prefere em português, esse texto da Universo Racionalista é muito didático para explicar estatística bayesiana. 

Por que considero essa proposta dos autores uma boa proposta? Ela traz uma solução engenhosa para mais de um problema nas ciências. Não é apenas que a confiança nos estudos publicados poderá aumentar significativamente, pois terão passado por pelo menos uma replicação bem-sucedida. Isso claramente é por si só fantástico o bastante para merecer um teste. Além disso, há um outro problema cada vez maior nas ciências como um todo — mas nas ciências sociais de forma mais marcante — quanto ao tempo que leva para uma pesquisa chegar no ponto de ser publicada em um periódico.

Com o sistema proposto pelos autores, cria-se não apenas um incentivo para publicar artigos melhores, com maior confiança, com maior cooperação entre especialistas e maior ênfase na adequação dos achados empíricos, como também estimula-se aumentar a qualidade dos textos disponíveis rápida e gratuitamente na forma de textos em desenvolvimento. A publicação em duas etapas vinculada dessa forma pode aumentar a qualidade tanto do acesso aberto quanto do acesso pago, sem comprometer nenhum dos dois. Os autores do primeiro texto são recompensados com um estudo de maior peso e maior impacto e os autores do segundo texto podem contar com um esforço cooperativo de peso por estarem em diálogo direto com os autores originais.

Pessoalmente, achei a estrutura básica de incentivos bem pensada, sendo algo que valeria a pena trabalhar em cima e fazer os ajustes finos necessários para pelo menos testá-la. E vocês, o que acham da ideia?

Referências:

Butera, L., & List, J. (2017). An Economic Approach to Alleviate the Crisis of Confidence in Science: With an Application to the Public Goods Game (No. 00608). The Field Experiments Website.

Altman, N., & Krzywinski, M. (2017). Points of significance: P values and the search for significance. Nature Methods, 14(1), 3-4.

Nuzzo, R. (2014). Statistical errors. Nature, 506(7487), 150.

Assinar blog por e-mail

Digite seu endereço de e-mail para assinar este blog e receber notificações de novas publicações por e-mail.

Doutor em Economia, professor do Insper e pesquisador do IDP-SP. Sócio e CEO da AED Consulting. Desde 2013 faço divulgação científica neste blog e nas redes sociais por paixão e convicção. Defendo políticas públicas baseadas em evidências e os princípios éticos do humanismo secular.

3 Responses to “Uma Abordagem Econômica para Aliviar a Crise de Confiança na Ciência”

  1. Sidinei Lander da Silva Pereira (Sir Jack)

    Complexo, sobremaneiramente útil no âmbito acadêmico e desafiador a todos que trabalham na área da pesquisa 🔎 científica.

  2. Mariangela Sardinha

    Complicado avaliar as replicações de forma correta. Leram este comentário?
    Comment on “Estimating the reproducibility of psychological science”
    Daniel T. Gilbert1,*,†, Gary King1, Stephen Pettigrew1, Timothy D. Wilson2
    Science 04 Mar 2016:
    Vol. 351, Issue 6277, pp. 1037
    DOI: 10.1126/science.aad7243

    Abstrat
    A paper from the Open Science Collaboration (Research Articles, 28 August 2015, aac4716) attempting to replicate 100 published studies suggests that the reproducibility of psychological science is surprisingly low. We show that this article contains three statistical errors and provides no support for such a conclusion. Indeed, the data are consistent with the opposite conclusion, namely, that the reproducibility of psychological science is quite high.

    • Thomas Conti

      Olá Mariangela, editei o texto inserindo essa réplica de Gilbert et al. Obrigado pela indicação e correção! Abraços.

  Posts

1 2 3 6
fevereiro 10th, 2021

Anvisa sob ataque? Boas intenções nunca bastam

fevereiro 10th, 2021

Duas canetadas, milhares de vidas

janeiro 27th, 2021

Governo deu Pedalada das Vacinas?

janeiro 10th, 2021

Direito e Economia da responsabilização por vacinas

novembro 26th, 2020

‘Levando a sério’ o parágrafo único do art. 40 da Lei de Propriedade Industrial

julho 4th, 2020

Máscaras funcionam? Sim! Aqui as evidências

maio 29th, 2020

Considerações sobre a reabertura de São Paulo

abril 27th, 2020

Quando a epidemia estiver controlada, como saberemos?

abril 20th, 2020

Imunidade de Rebanho não é esperança para o Brasil

abril 15th, 2020

O imenso prejuízo do Lockdown Endógeno