A Iniciativa Brasileira de Reprodutibilidade, que neste mês publicou sua conclusão de que só 21% da pesquisa biomédica é considerada reprodutível, envolveu a colaboração de 56 laboratórios no Brasil. O projeto, finalizado neste ano, teve início em 2019.
Foram replicados experimentos publicados utilizando três métodos comuns na pesquisa biomédica: o ensaio MTT (viabilidade celular), a reação em cadeia da polimerase com transcriptase reversa (RT-PCR, para expressão gênica) e o labirinto em cruz elevado (para ansiedade em roedores).
Um total de 143 replicações de 56 experimentos foram realizadas, das quais 96 replicações de 47 experimentos foram consideradas válidas. A seleção dos experimentos originais buscou representatividade na ciência biomédica brasileira publicada entre 1998 e 2017.
Ao todo, 213 pesquisadores participaram da iniciativa.
Não foi fácil coordenar toda essa gente. O projeto se desenrolou ao longo da pandemia de Covid-19. Além de todas as questões logísticas que decorreram daí e aquelas às quais os cientistas de áreas experimentais estão acostumados, houve mais problemas. Entre os listados, a falta de costume de laboratórios serem supervisionados ou de terem seus métodos escrutinados e padronizados. Também havia falta de consenso entre quais eram as etapas essenciais de um protocolo e quais eram mais maleáveis.
“Foi como pegar 56 bandas de garagem e tentar formar uma orquestra. Não é a mesma coisa, são jeitos diferentes de tocar”, compara Olavo Amaral, neurocientista e professor da UFRJ, que coordenou a iniciativa.
Além da taxa de replicação em si, os pesquisadores observaram dois padrões no mínimo curiosos nos estudos originais em comparação com suas réplicas.
Participar da iniciativa nos fez perceber a importância de fazer isso para os nossos próprios projetos, de melhorar a nossa própria documentação, porque, depois de alguns anos ou mesmo meses, a gente vai olhar os nossos próprios arquivos e já não entende mais nada
O primeiro foi que o tamanho do efeito (a magnitude do impacto observado nas experiências; por exemplo, um suplemento reduzindo a ansiedade) era, em média, 60% maior nos artigos originais. Ou seja, os resultados publicados tendem a superestimar os efeitos das intervenções testadas.
O segundo foi que o coeficiente de variação, que mede a dispersão dos dados em relação à média, era 60% menor nos estudos originais. Os dados nos artigos originais, dessa forma, são notavelmente mais “bem comportados” e podem ser indício da seleção de resultados mais convenientes ou da sub-representação de dados mais díspares —ambas más práticas científicas.
Um dos grupos de pesquisa que abraçou a causa e fez tentativas de replicação foi o de Ana Paula Hermann, professora da UFRGS (Universidade Federal do Rio Grande do Sul). Em um dos experimentos, camundongos foram submetidos à chamada dieta de cafeteria, isto é, comiam salgadinhos, mortadela, biscoito recheado e refrigerante, entre outros alimentos pouco saudáveis.
No estudo original, foi observado que os animais submetidos à dieta ficavam um tempo significativamente maior nos braços abertos no labirinto em cruz elevado do que os animais controles, o que indica um possível efeito ansiolítico da dieta (se o efeito fosse ansiogênico, de aumentar a ansiedade, o animal se aventuraria pouco nos braços abertos e buscaria o conforto dos braços fechados).
Na replicação de Hermann e colaboradores, contudo, não houve diferença nessa análise entre os grupos de animais. Isso não quer dizer que a dieta de cafeteria não altere a condição de saúde dos animais —afinal, os animais tiveram alteração da estrutura corporal, assim como o aspecto e odor das fezes—, mas pode ser explicado pelo fato de os testes não medirem esses aspectos psicológicos com precisão, ou pela intervenção em si não surtir esse efeito comportamental, ou por ainda outros fatores não identificados.
“Participar da iniciativa nos fez perceber a importância de fazer isso para os nossos próprios projetos, de melhorar a nossa própria documentação, porque, depois de alguns anos ou mesmo meses, a gente vai olhar os nossos próprios arquivos e já não entende mais nada”, afirma ela.
“Agora todos os projetos têm pré-registro, e os dados brutos depois ficam compartilhados de maneira aberta em repositórios. A gente também tem uma estrutura interna de organização das pastas, contendo os dados, as análises, as figuras, os vídeos. E também praticamos o cegamento, que é o pesquisador não saber o que ele está administrando para cada grupo e nem qual é cada grupo na hora de fazer a análise.”
Entre os desdobramentos da iniciativa está a criação da Rede Brasileira de Reprodutibilidade, que atua na promoção de práticas científicas mais confiáveis. O grupo já oferece cursos, publica guias e colabora com periódicos e agências. Os coordenadores esperam que, a partir dos dados levantados, universidades, agências de fomento e revistas científicas passem a incorporar exigências mínimas de reprodutibilidade, como o registro público de protocolos, o compartilhamento de dados e a valorização de estudos de replicação nos currículos acadêmicos.
Ao menos pelos próximos anos, a Rede pode contar com apoio financeiro do Serrapilheira, que deve aportar R$ 228 mil anualmente, até 2028. Outro apoiador é a Fundação José Luiz Egídio Setúbal, mantenedora do Hospital Sabará, que aportou perto de R$ 230 mil neste ano.
“Quando você investe em replicabilidade, está fazendo um movimento duplo: fortalece boas práticas dentro da comunidade científica e, ao mesmo tempo, sinaliza para fora que há compromisso com a qualidade da ciência produzida no país”, diz Marcos Paulo de Lucca Silveira, diretor de pesquisa da fundação.
