List
Acaba de ser publicado um working paper com uma ideia que achei excelente para atacar o sério problema de replicação na ciência. Gostaria de brevemente comentar o texto aqui, mas vamos por partes. Do que se trata esse problema de replicação, também chamado de problema de reprodutibilidade?
Resumindo, replicar um artigo – testar a mesma hipótese usando o mesmo método – para verificar se o resultado encontrado continua positivo é extremamente importante para aumentar a confiança que temos nas descobertas científicas. Contudo, o sistema de incentivos atual na academia não estimula que sejam publicados trabalhos de replicação, preferindo estimular a novidade das análises. Nos últimos anos, têm crescido a conscientização sobre o tamanho desse problema. Estudos de replicação em diversas áreas — principalmente nas humanidades, mas não apenas elas — mostram que pode chegara 50% o número de artigos publicados cujos resultados não foram possíveis de replicar. Dois estudos recentes sobre o tema nas áreas de economia e psicologia agitaram as discussões sobre a crise de replicação. No entanto, o próprio estudo que encontrou as falhas nas pesquisas da psicologia, aparentemente, tinha ele mesmo falhas estatísticas graves que, quando corrigidas, não encontram um problema tão grande de replicação assim na área.

Além da falta de incentivo para publicar estudos cujos resultados não são novos, há também o muito conhecido viés de resultados positivos — não raro, também um viés de resultados “dramáticos”. Como coloca o excelente site de difusão de discussões sobre ética científica Retraction Watch, estudos que mostram que algo tem um efeito positivo sobre alguma outra coisa têm uma probabilidade muito maior de serem publicados do que estudos que mostram a ausência de efeitos.

Chegamos então ao texto para discussão que acaba de ser disponibilizado no NBER. Os autores Luigi Butera e John A. List trazem uma proposta inovadora para alterar um pouco o sistema de incentivos em favor de estudos que foram replicados pelo menos uma vez. A razão para tanto é que um único estudo de replicação que confirme o resultado positivo aumenta drasticamente a probabilidade daquele achado ser verdadeiro. Ainda está longe de ser o suficiente para ter certeza (certeza é algo muito difícil em ciência), mas é uma ajuda muito forte que eliminaria boa parte dos falsos positivos que são criados todos os anos por pesquisas sem replicação.

Para entender como um estudo afeta a probabilidade de um efeito ser verdadeiro, recomendo o texto muito didático de Altman, N. e Krzywinski, M. (2017), publicado na revista Nature. Para entender as probabilidades após uma replicação positiva ou negativa, o texto de Butera e List que estou comentando aqui é bastante claro, basta ver os gráficos nas páginas 19 e 20. Este outro texto da Nature também é didático e ilustrativo.

Bom, qual a ideia de Butera e List, afinal? Traduzo aqui o resumo do texto deles:

Por sua própria natureza, novos achados empíricos tendem a ser não-antecipados e em algumas casos contradizem o atual estado de conhecimento em um tópico. A mecânica da inferência estatística sugere que tais achados iniciais, mesmo quando robustos e estatisticamente significativos dentro do estudo, não deveriam mudar de forma apreciável os priors* do fenômeno sob investigação. Ainda assim, poucas replicações bem concebidas e independentes dramaticamente melhoram a confiabilidade de novos achados. Ainda assim, os incentivos para replicar dificilmente são encontrados nas ciências, especialmente nas ciências sociais. Propomos um mecanismo de incentivos compatível com a promoção da replicação e usamos a economia experimental para iluminar nossa abordagem. Começamos reportando resultados de um experimento no qual investigamos como a cooperação em jogos alocativos é afetada pela presença da incerteza Knightiana, uma característica muito presente nos bens públicos, porém pouco explorada. Contrariando as expectativas, encontramos que adicionar incerteza aumenta a cooperação. Esse resultado surpreendente serve como um teste de caso para nosso mecanismo: ao invés de mandar este artigo para um periódico com revisão por pares, nós o tornamos disponível online como um texto para discussão, mas nos comprometemos a nunca submetê-lo a um periódico para publicação. Ao invés disso, nós ofereceremos co-autoria em outro artigo com outros autores, ainda a ser escrito, que estejam dispostos a replicar nosso estudo. Esse segundo artigo fará referência a este texto para discussão, incluirá todas as replicações e será submetido para um periódico com revisão por pares para que seja publicado. Nosso mecanismo permite ganhos mutuamente benéficos para o intercâmbio entre os investigadores originais e outros acadêmicos, alivia o problema de viés de publicação que comumente circunda novos resultados experimentais e acelera o avanço da ciência econômica ao alavancar os mecanismos de inferência estatística. (Butera e List, 2017).

*Prior é a probabilidade de uma hipótese ser verdadeira antes de uma observação empírica que a comprove seja realizada. Por exemplo, o prior de uma hipótese como “beber água aumenta o risco de câncer” é infinitamente baixo, isto é, a hipótese é extremamente implausível. Um estudo que a confirme aumenta a plausibilidade da hipótese ser verdadeira, mas como originalmente ela era muito implausível ela continuará implausível após o estudo a confirmar. Seriam necessários muitos estudos para que pudéssemos ter confiança numa hipótese dessas. Já o prior de uma hipótese como “o aumento da renda de uma pessoa aumenta seu consumo” é extremamente alto, isto é, a hipótese é muito plausível. Um estudo que a comprove aumenta ainda mais a chance dela ser verdadeira. Mas esses são dois extremos banais que podemos dizer que os priors são extremamente baixos ou altos com segurança. Na maioria dos casos é difícil dizer qual é o prior de uma hipótese, daí a importância de ter um ou mais estudos testando e falseando hipóteses. Recomendo novamente este artigo da Nature para quem tiver dúvida. Para quem prefere em português, esse texto da Universo Racionalista é muito didático para explicar estatística bayesiana. 

Por que considero essa proposta dos autores uma boa proposta? Ela traz uma solução engenhosa para mais de um problema nas ciências. Não é apenas que a confiança nos estudos publicados poderá aumentar significativamente, pois terão passado por pelo menos uma replicação bem-sucedida. Isso claramente é por si só fantástico o bastante para merecer um teste. Além disso, há um outro problema cada vez maior nas ciências como um todo — mas nas ciências sociais de forma mais marcante — quanto ao tempo que leva para uma pesquisa chegar no ponto de ser publicada em um periódico.

Com o sistema proposto pelos autores, cria-se não apenas um incentivo para publicar artigos melhores, com maior confiança, com maior cooperação entre especialistas e maior ênfase na adequação dos achados empíricos, como também estimula-se aumentar a qualidade dos textos disponíveis rápida e gratuitamente na forma de textos em desenvolvimento. A publicação em duas etapas vinculada dessa forma pode aumentar a qualidade tanto do acesso aberto quanto do acesso pago, sem comprometer nenhum dos dois. Os autores do primeiro texto são recompensados com um estudo de maior peso e maior impacto e os autores do segundo texto podem contar com um esforço cooperativo de peso por estarem em diálogo direto com os autores originais.

Pessoalmente, achei a estrutura básica de incentivos bem pensada, sendo algo que valeria a pena trabalhar em cima e fazer os ajustes finos necessários para pelo menos testá-la. E vocês, o que acham da ideia?

Referências:

Butera, L., & List, J. (2017). An Economic Approach to Alleviate the Crisis of Confidence in Science: With an Application to the Public Goods Game (No. 00608). The Field Experiments Website.

Altman, N., & Krzywinski, M. (2017). Points of significance: P values and the search for significance. Nature Methods, 14(1), 3-4.

Nuzzo, R. (2014). Statistical errors. Nature, 506(7487), 150.

Assinar blog por e-mail

Digite seu endereço de e-mail para assinar este blog e receber notificações de novas publicações por e-mail.

3 Responses to “Uma Abordagem Econômica para Aliviar a Crise de Confiança na Ciência”

  1. Sidinei Lander da Silva Pereira (Sir Jack)

    Complexo, sobremaneiramente útil no âmbito acadêmico e desafiador a todos que trabalham na área da pesquisa 🔎 científica.

  2. Mariangela Sardinha

    Complicado avaliar as replicações de forma correta. Leram este comentário?
    Comment on “Estimating the reproducibility of psychological science”
    Daniel T. Gilbert1,*,†, Gary King1, Stephen Pettigrew1, Timothy D. Wilson2
    Science 04 Mar 2016:
    Vol. 351, Issue 6277, pp. 1037
    DOI: 10.1126/science.aad7243

    Abstrat
    A paper from the Open Science Collaboration (Research Articles, 28 August 2015, aac4716) attempting to replicate 100 published studies suggests that the reproducibility of psychological science is surprisingly low. We show that this article contains three statistical errors and provides no support for such a conclusion. Indeed, the data are consistent with the opposite conclusion, namely, that the reproducibility of psychological science is quite high.

    • Thomas Conti

      Olá Mariangela, editei o texto inserindo essa réplica de Gilbert et al. Obrigado pela indicação e correção! Abraços.

  Categoria: Economia

1 2
abril 24th, 2017

Uma Abordagem Econômica para Aliviar a Crise de Confiança na Ciência

Acaba de ser publicado um working paper com uma ideia que achei excelente para atacar o sério problema de replicação na […]

abril 18th, 2017

Boas fontes para dados e gráficos atualizados do mundo

Segue uma lista de alguns sites que utilizo para fazer buscas de dados, gráficos e análises para auxiliar na visualização […]

março 15th, 2017

Ideias Econômicas que Você Deveria Esquecer: Capitalismo [tradução]

Ideias Econômicas que Você Deveria Esquecer Capitalismo, por Daron Acemoglu Tradução do capítulo de livro:  ACEMOGLU, D. Capitalism. In: FREY, […]

dezembro 26th, 2016

Retrospectiva: Publicações destacadas de 2016

Livros e artigos publicados em 2016 que destaco como mais importantes. Os vieses são minhas limitações de área e tempo. […]

junho 14th, 2015

Guerras Capitais 1803-1914 – Dissertação de Mestrado e Video-Seminário

Agora com o Mestrado defendido, gostaria de compartilhar com todos os interessados o resultado final destes cinco anos de pesquisa […]

novembro 12th, 2014

Entenda a relação da Bolsa de Valores com as eleições e o mercado

Durante todo o período das eleições e mesmo após o resultado final, saíram com grande destaque diversas notícias sobre o […]

outubro 26th, 2014

Entre gritos, o silêncio – uma tentativa de análise fria do próximo mandato presidencial

Muito embora a maior parte da direita e da esquerda esteja defendendo apaixonadamente seus candidatos à presidência, nos bastidores poderia […]

agosto 1st, 2014

A polêmica carta do Santander ao nosso subconsciente

Fontes: (1) Lucro do Santander no Brasil. (2) Taxa Média de Juros para crédito pessoal no Brasil. Demais referências (e […]

junho 2nd, 2014

Financiamento e Perfil das Universidades Estaduais de São Paulo

Diante da complicada situação em que se encontram USP, Unicamp e Unesp atualmente, com congelamento de salários de professores e […]

abril 3rd, 2014

A pesquisa do IPEA sobre as mulheres está errada? Sim, e Não. Entenda o problema.

O objetivo deste texto é qualificar o debate levantado pela pesquisa do IPEA sobre a percepção social da violência contra […]