Conceitos-chave para tomar decisões informadas
Usando esses conceitos, ensine as pessoas a pensar criticamente sobre alegações e comparações. Por Aronson, Jeffrey et. al.
Tradução do artigo:
(Alguns hyperlinks no texto foram adicionados por mim para facilitar o encontro das obras citadas.)
Todo mundo faz afirmações sobre o que funciona. Políticos afirmam que o policiamento de “parar e procurar” (stop and frisk) reduzirá os crimes violentos; amigos podem afirmar que as vacinas causam autismo; os anunciantes declaram que a comida natural é saudável. Um grupo de cientistas descreve que, em algumas áreas, dar a todas as crianças em idade escolar pílulas vermífugas foi uma das mais potentes intervenções antipobreza do nosso tempo. Outro grupo considera que isso não melhorou a saúde ou o desempenho das crianças na escola.
Infelizmente, muitas vezes as pessoas não conseguem pensar criticamente sobre a confiabilidade das alegações, incluindo os formuladores de políticas que ponderam sobre o que os cientistas pensaram. As escolas não fazem o suficiente para preparar os jovens para pensar criticamente. Tantas pessoas lutam para avaliar evidências. Como conseqüência, eles podem fazer escolhas ruins.
Para resolver esse déficit, apresentamos aqui um conjunto de princípios para avaliar a confiabilidade das alegações sobre o que funciona e para fazer escolhas informadas (consulte “Conceitos-chave para escolhas informadas”). Esperamos que cientistas e profissionais de todos os campos avaliem, usem e comentem. Os recursos foram adaptados aproveitando a experiência de duas dúzias de pesquisadores a partir de uma estrutura desenvolvida para os cuidados de saúde (ver “Experimento randomizado”).
Idealmente, esses conceitos devem ser incorporados na educação para cidadãos de todas as idades. Isso deve ser feito usando recursos de aprendizado e estratégias de ensino que foram avaliados e demonstraram ser eficazes.
PRINCIPAIS CONCEITOS PARA ESCOLHAS INFORMADAS
ALEGAÇÕES
Alegações sobre efeitos devem ser apoiadas por evidências de comparações justas. Outras reivindicações não são necessariamente erradas, mas há uma base insuficiente para acreditar nelas.
As alegações não devem pressupor que as intervenções sejam seguras, efetivas ou certas.
• As intervenções podem causar danos assim como benefícios.
• Efeitos grandes e dramáticos são raros.
• Raramente, ou nunca, podemos ter certeza sobre os efeitos das intervenções.
Pressupostos aparentemente lógicos não são uma base suficiente para reivindicações.
• Crenças, sozinhas, sobre como as intervenções funcionam não são preditores confiáveis da presença ou tamanho dos efeitos.
• Um resultado pode estar associado a uma intervenção, mas não causado por ela.
• Mais dados não significa necessariamente dados melhores.
• Os resultados de um estudo considerado isoladamente podem ser enganosos.
• Intervenções amplamente utilizadas ou aquelas que foram usadas por décadas não são necessariamente benéficas ou seguras.
• Intervenções novas ou tecnologicamente impressionantes podem não ser melhores que as alternativas disponíveis.
• Aumentar o tamanho de uma intervenção não aumenta necessariamente seus benefícios e pode causar danos.
Confiança em uma fonte sozinha não é uma base suficiente para acreditar em uma alegação.
• Interesses concorrentes podem resultar em alegações enganosas.
• Experiências pessoais ou anedotas por si só são uma base não confiável para a maioria das reivindicações.
• Opiniões de especialistas, autoridades, celebridades ou outros indivíduos respeitados sozinhas não são uma base confiável para alegações.
• A revisão por pares e a publicação por um periódico não garantem que as comparações tenham sido justas.
COMPARAÇÕES
Os estudos devem fazer comparações justas, projetadas para minimizar o risco de erros sistemáticos (vieses) e erros aleatórios (o jogo do acaso).
Comparações de intervenções devem ser justas.
• Os grupos e condições de comparação devem ser tão semelhantes quanto possível.
• Comparações indiretas de intervenções em diferentes estudos podem ser enganosas.
• As pessoas, grupos ou condições que estão sendo comparados devem ser tratados de forma semelhante, além das intervenções em estudo.
• Os resultados devem ser avaliados da mesma forma nos grupos ou condições comparados.
• Os resultados devem ser avaliados usando métodos que se mostraram confiáveis.
• É importante avaliar os resultados em todas (ou quase todas) as pessoas ou participantes de um estudo.
• Quando a alocação aleatória é usada, os resultados das pessoas ou dos participantes devem ser contados no grupo ao qual foram alocados.
Sínteses de estudos devem ser confiáveis.
• Revisões de estudos comparando intervenções devem usar métodos sistemáticos.
• Não considerar resultados não publicados de comparações justas pode influenciar as estimativas de efeitos.
• Comparações de intervenções podem ser sensíveis a pressupostos subjacentes.
As descrições devem refletir o tamanho dos efeitos e o risco de serem enganados por acaso.
• Descrições verbais do tamanho dos efeitos por si só podem ser enganosas.
• Pequenos estudos podem ser enganosos.
• Intervalos de confiança devem ser relatados para estimativas de efeitos.
• A obtenção de resultados como “estatisticamente significativos” ou “não significativos” pode ser enganosa.
• A falta de evidência de uma diferença não é o mesmo que a evidência de nenhuma diferença.
ESCOLHAS
O que fazer depende de julgamentos sobre o problema, a relevância (aplicabilidade ou transferibilidade) das evidências disponíveis e o equilíbrio dos benefícios, danos e custos esperados.
Problemas, objetivos e opções devem ser definidos.
• O problema deve ser diagnosticado ou descrito corretamente.
• Os objetivos e opções devem ser aceitáveis e viáveis.
A evidência disponível deve ser relevante.
• A atenção deve se concentrar nos resultados importantes, e não substitutos, das intervenções.
• Não deve haver diferenças importantes entre as pessoas nos estudos e aquelas a quem os resultados do estudo serão aplicados.
• As intervenções comparadas devem ser semelhantes às de interesse.
• As circunstâncias em que as intervenções foram comparadas devem ser semelhantes às de interesse.
Benefícios esperados devem superar os contras.
• Pesar os benefícios e economias contra os danos e custos de agir ou não agir.
• Considere como estes são valorizados, sua certeza e como eles são distribuídos.
• Incertezas importantes sobre os efeitos das intervenções devem ser reduzidas por outras comparações justas.
Evidência confiável
As pessoas estão inundadas de informações. Simplesmente dar-lhes mais é improvável que seja útil, a menos que seu valor seja compreendido. Uma pesquisa de 2016 no Reino Unido mostrou que apenas cerca de um terço do público confia em evidências de pesquisas médicas; cerca de dois terços confiam nas experiências de amigos e familiares.
Nem todas as evidências são criadas iguais. No entanto, as pessoas geralmente não apreciam quais reivindicações são mais confiáveis do que outras; que tipo de comparações são necessárias para avaliar propostas diferentes de forma justa; ou que outras informações precisam ser consideradas para informar boas escolhas.
Por exemplo, muitas pessoas não entendem que duas coisas podem ser associadas sem que uma cause necessariamente a outra. A mídia às vezes perpetua esse problema usando uma linguagem que sugere que causa e efeito foram estabelecidos quando não o foram – por exemplo, declarações como “o café pode matar você” ou “beber um copo de cerveja por dia pode fazer você viver mais”. Pior ainda, alegações causais exageradas muitas vezes apimentam comunicados de imprensa de universidades e periódicos.
EXPERIMENTO ALEATÓRIO
O Projeto de Escolhas de Saúde Informadas (IHC) foi inicialmente desenvolvido entre 2012 e 2017 por uma colaboração que incluiu alguns dos co-autores deste artigo (A.D.O., A.D., I.C. e M.O.). O projeto inclui seu próprio conjunto de conceitos-chave, recursos para aprendizado e um banco de dados de perguntas de múltipla escolha para avaliar quão bem os usuários conseguem aplicar os conceitos.
Em 2016, um ensaio randomizado envolvendo 120 escolas e mais de 10.000 crianças em idade escolar em Uganda mostrou que esses recursos melhoraram a capacidade de crianças de 10 a 12 anos de idade de aplicar 12 dos conceitos-chave. Esses conceitos incluem, por exemplo, reconhecer que apenas experiências pessoais são uma base insuficiente para alegações sobre efeitos, e que pequenos estudos podem ser enganosos.
Neste estudo, 69% das crianças que aprenderam os conceitos-chave passaram por um teste de múltipla escolha sobre sua capacidade de pensar criticamente sobre alegações de saúde. Em comparação, apenas 27% das crianças que não foram informadas sobre os conceitos passaram no mesmo teste.
Estudos que fazem comparações justas são cruciais, mas as pessoas muitas vezes não sabem avaliar a validade da pesquisa. Revisões sistemáticas que sintetizam estudos bem desenhados e relevantes para questões claramente definidas são mais confiáveis do que observações aleatórias. Isso ocorre porque eles são menos suscetíveis a vieses (distorções sistemáticas) e ao jogo do acaso (erros aleatórios). No entanto, os resultados de estudos individuais são freqüentemente relatados isoladamente, como fatos. Daí os familiares vai-e-vens de manchetes como “chocolate é bom para você”, seguido na próxima semana por “chocolate é ruim para você”.
Para fazer boas escolhas, outros tipos de informação também são necessárias – por exemplo, sobre custos e viabilidade. Julgamentos também devem ser feitos sobre a relevância da informação da pesquisa (como aplicável ou transferível) e sobre o equilíbrio entre os prováveis efeitos desejáveis e indesejáveis de um medicamento, terapia ou regulação.
Quando se trata de impostos sobre carbono, por exemplo, os formuladores de políticas precisam considerar evidências sobre os efeitos ambientais e econômicos de tais impostos, julgar quão comparável é seu contexto com o dos estudos e avaliar quão onerosas são as dificuldades administrativas. Eles também precisam modelar como as cargas tributárias serão distribuídas entre os grupos socioeconômicos e pensar se os impostos serão aceitos em suas jurisdições.
Pensamento crítico
Indivíduos e organizações em muitos campos estão trabalhando para permitir que as pessoas tomem decisões informadas. Esses esforços incluem sintetizar a melhor evidência disponível em revisões sistemáticas; tornar essas informações mais acessíveis, como por meio de resumos em linguagem simples ou acesso aberto; e ensinar as pessoas a usarem esses recursos. Exemplos de tais organizações de revisão são Cochrane (anteriormente chamado de Cochrane Collaboration), que se concentra em cuidados de saúde; a Campbell Collaboration, que analisa os efeitos das políticas sociais; a Colaboração para Evidências Ambientais; e a Sociedade Internacional para Cuidados de Saúde Baseados em Evidências. Outros incluem o Centro de Gerenciamento Baseado em Evidências, o Centro Africano pelas Evidências, a Iniciativa Internacional para Avaliação de Impacto (conhecida como 3ie) e o britânico What Works Network.
Infelizmente, os acadêmicos tendem a trabalhar em silos e podem perder oportunidades de aprender com os outros. A perícia dos autores deste artigo abrange 14 campos: agricultura, economia, educação, gestão ambiental, desenvolvimento internacional, saúde, aprendizagem informal, gestão, nutrição, saúde planetária, policiamento, fonoaudiologia, bem-estar social e medicina veterinária. .
Identificamos muitos conceitos que se aplicam a esses campos (consulte “Conceitos-chave para escolhas informadas” e “Conceitos-chave em ação”). Alguns outros conceitos são mais relevantes em alguns campos do que em outros. Por exemplo, muitas vezes é importante considerar possíveis efeitos de placebo ao avaliar alegações sobre tratamentos médicos e nutrição; raramente são relevantes para intervenções no meio ambiente.
PRINCIPAIS CONCEITOS EM AÇÃO
Alegações
Só as crenças sobre como as intervenções funcionam não são preditores confiáveis da presença ou tamanho dos efeitos.
A maioria das pessoas acha que é difícil influenciar o envolvimento dos pais na educação dos filhos. A suposição é, portanto, que intervenções mais intensivas (e mais caras) seriam mais prováveis de serem efetivas. No entanto, estudos de intervenções intensivas muitas vezes não conseguiram mostrar efeitos sobre a realização dos alunos, conforme medido usando testes padrão.
Enquanto isso, uma avaliação recente dos efeitos de simplesmente enviar mensagens de texto aos pais semanalmente com atualizações sobre a escolaridade de seus filhos teve efeitos positivos sobre a frequência das crianças, a submissão dos trabalhos de casa e o aproveitamento da matemática. Estes efeitos foram pequenos, mas o custo foi muito baixo. Isso ilustra que – ao contrário de nossos palpites – intervenções baratas podem ser úteis, e as caras podem falhar.
Comparações
As condições devem ser tão semelhantes quanto possível.
Programas “Scared Straight” levam os jovens infratores a visitas às prisões, partindo do pressuposto de que essa experiência e ouvir as descrições da vida dentro dos internos tem efeito dissuasório sobre a delinquência juvenil. Alguns estudos descobriram que tais visitas às prisões foram seguidas por grandes reduções no comportamento delinquente. Mas muita coisa pode mudar em um grupo de jovens ao longo do tempo, incluindo o fato de se tornarem mais velhos e mais maduros. Como alguém pode saber que as visitas à prisão causaram a redução?
Experiências mais justas foram feitas, nas quais os jovens foram aleatoriamente designados para visitar a prisão ou não, criando grupos que eram mais comparáveis. As comparações entre esses grupos mostraram mais delinquência nos jovens expostos às prisões do que naqueles que não tinham.
Escolhas
Quando há incertezas importantes sobre os efeitos das intervenções, elas devem ser reduzidas por comparações justas.
No setor da saúde, os arranjos de financiamento nos quais os fundos são liberados somente se uma ação específica for tomada ou se a meta de desempenho for atingida se tornaram populares. Bilhões de dólares foram investidos na promoção desses arranjos em países de renda média e baixa com o objetivo de atingir metas internacionais de desenvolvimento. Por exemplo, os profissionais de saúde receberam recompensas em dinheiro por aumentar a porcentagem de nascimentos em clínicas (em vez de em casa), com a intenção de melhorar a saúde e a sobrevivência materna e neonatal.
Mas os arranjos de financiamento baseados no desempenho podem ter efeitos adversos não intencionais, como encorajar os profissionais de saúde a falsificar registros ou negligenciar outras atividades. Na Tanzânia, algumas unidades de saúde ameaçaram novas mães com multas ou negação de vacinas para seus filhos. Para intervenções em que há muita incerteza sobre os prós e contras, outras comparações justas devem ser feitas antes ou durante a implantação de tais esquemas.
Nossa colaboração já estimulou muitos de nós a desenvolver estruturas para campos específicos e sugerir melhorias para a estrutura original das Escolhas de Saúde Informadas. Há poder na identificação de um problema que ressoa em diferentes domínios; fornece impulso para alinhar os esforços.
Os principais conceitos para opções informadas não são uma lista de chegada. É um ponto de partida. Embora tenhamos organizado as ideias em três grupos (alegações, comparações e escolhas), elas podem ser usadas para desenvolver recursos de aprendizagem que incluam qualquer combinação desses, apresentados em qualquer ordem. Esperamos que os conceitos sejam úteis para pessoas que ajudam os outros a pensar criticamente sobre quais evidências devem confiar e o que fazer, incluindo aquelas que ensinam o pensamento crítico e as responsáveis pela comunicação dos resultados da pesquisa.
Próximos passos
A prática informada por evidências é agora ensinada a profissionais em muitos campos diferentes, e esses esforços devem crescer. É também crucial que as crianças aprendam esses conceitos-chave, em vez de atrasar a aquisição dessas habilidades até a idade adulta. Os jovens que foram explicitamente ensinados a pensar criticamente fazem melhores julgamentos do que aqueles que não o foram. Educar as pessoas sobre tais conceitos em uma idade jovem estabelece uma base importante para o aprendizado futuro.
Uma parte importante do trabalho de incentivar o pensamento crítico é aprender e compartilhar estratégias que promovam o ceticismo saudável, mas que evitem conseqüências adversas não intencionais. Estes incluem induzir o niilismo (extremo ceticismo); permitir alegações capciosas de que a incerteza é um argumento defensável contra a ação (sobre a mudança climática, por exemplo); ou encorajar falsas crenças – como a de que toda pesquisa não é confiável por causa de interesses conflitantes entre aqueles que promovem intervenções específicas.
Os interesses conflitantes assumem várias formas em diferentes campos, mas os desafios e soluções são semelhantes: reconhecimento de conflitos potenciais, transparência e avaliações independentes. Conseguir isso depende de uma melhor compreensão do público sobre a necessidade de avaliação independente e da demanda pública por investimento, assim como a comunicação imparcial dos resultados.
É necessário um maior desenvolvimento e especialização dos Conceitos Chave para as Escolhas Informadas e estamos abertos para receber sugestões. Por exemplo, é preciso dar mais atenção a como esses conceitos podem ser aplicados a ações para abordar mudanças em todo o sistema, levando em consideração interações complexas e dinâmicas e ciclos de feedback, como na mitigação da mudança climática ou nas estratégias de adaptação.
Referências:
- Bouygues, H. L. The State of Critical Thinking: A New Look at Reasoning at Home, School, and Work (Reboot Foundation, 2018).
- Oxman, A. D., Chalmers, I., Austvoll-Dahlgren, A. & Informed Health Choices group. F1000Research 7, 1784 (2018).
- Academy of Medical Sciences. Enhancing the Use of Scientific Evidence to Judge the Potential Benefits and Harms of Medicines (Academy of Medical Sciences, 2017).
- Haber, N. et al. PLoS ONE 13, e0196346 (2018).
- Sumner, P. et al. PLoS ONE 11, e0168217 (2016).
- Abrami, P. C. et al. Rev. Educ. Res. 85, 275–314 (2015).
- Nsangi, A. et al. Lancet 390, 374–388 (2017).
- Petrosino, A., Turpin-Petrosino, C. & Finckenauer, J. O. Crime Delinq. 46, 354–379 (2000).
- Petrosino, A., Turpin-Petrosino, C., Hollis-Peel, M. E. & Lavenberg J. G. Cochrane Database Syst. Rev. CD002796 (2013).
- Renmans, D., Holvoet, N., Orach, C. G. & Criel, B. Health Pol. Plan. 31, 1297–1309 (2016)
Agradecimentos:
Agradeço o Instituto Questão de Ciência por divulgar sobre a publicação deste artigo na Nature. Aproveito para recomendar o leitor para conhecer o instituto, que faz um importante trabalho de divulgação e defesa do uso de evidências em políticas públicas no Brasil.
Thomas Conti
Doutor em Economia, professor do Insper e pesquisador do IDP-SP. Sócio e CEO da AED Consulting. Desde 2013 faço divulgação científica neste blog e nas redes sociais por paixão e convicção. Defendo políticas públicas baseadas em evidências e os princípios éticos do humanismo secular.