Muita gente pensa que a hipótese nula é uma bobagem, artifício de estatística, o que é um grave erro. Vejamos as implicações deste importante princípio para a experimentação científica.

Ao formular um experimento, devemos antes desafiá-lo mediante a hipótese nula para ver se vale a pena prosseguir. Isto significa ter que descartar a hipótese nula para tornar razoável a nossa hipótese de trabalho, o que nem sempre é possível. A hipótese nula é o princípio que nega a priori qualquer teoria, atribuindo o fenômeno observado a um mero efeito do acaso. O grande desafio da análise de dados é estabelecer testes seguros para rejeitar a hipótese nula. Idéias científicas brilhantes podem não ter valor algum quando suas conclusões não conseguem superar satisfatoriamente a hipótese nula em uma inferência estatística. Outro grande problema está em rejeitar a importância da estatística em avaliar resultados e em tomadas de decisão. Há também os que defendem o conceito “justificado” de "hipótese infalsificável", ou seja, que suas hipóteses são sempre corretas, e mesmo que as evidências disponíveis apontem o contrário, sempre alegam que, se as previsões não estão corretas, é porque ainda é necessário mais informações. Ora, trata-se apenas de um artifício de retórica para justificar uma má pesquisa. Em qualquer experimento deve-se desafiar a conclusão com a hipótese nula.

A pesquisa científica parte de observações cuidadosas que ganham importância à medida que são confirmadas por observadores independentes, bem como de experimentos planejados para testar hipóteses sem vieses que visem conformá-las ao interesse do pesquisador, mas desafiá-las no rigor da hipótese nula para assim afirmar uma conclusão. Se a hipótese resiste aos mais variados experimentos e observações ela se transformará numa teoria, mas não numa verdade, pois, toda hipótese científica é em si mesma falseável, como ensinava Popper, e sempre será, mais cedo ou mais tarde, substituída por outra melhor ou radicalmente diferente.

Publicar trabalhos com dados interpretados dentro de teorias estabelecidas sem questionar tais teorias produzem atraso considerável no desenvolvimento científico, pois, rejeita-se muitas vezes evidências valiosas por não se conformarem ao paradigma vigente. Há muitos exemplos deste conformismo, hoje disseminado devido à obrigação de se publicar para se manter o status acadêmico. Trabalhos que fogem ao conformismo dominante são mais freqüentemente rejeitados e isto porque o conservadorismo ou “sabedoria convencional” é dominante dentro do meio científico. A maioria dos pesquisadores parte do seguinte princípio: “Será que eu posso interpretar meus dados de acordo com a teoria X?”. Se isso não acontece ele tende a abandonar sua experiência e passa para outra. Por outro lado, se ele pode explicar seus dados dentro da teoria X, teremos uma enxurrada de trabalhos repetitivos tipo “eu também!”, e são estes os indivíduos que fazem a política do “quanto mais publicar melhor para você”. Entretanto, o pesquisador mais produtivo para a ciência não é aquele que publica enxurradas de papers encaixados numa teoria corrente, mas aquele que diz a si mesmo “Como posso interpretar meus dados?”. São estes que, não produzindo tanto, produzem os trabalhos que mais contribuem para o avanço de um conhecimento.

A contribuição científica será tanto maior quanto menos se procura trabalhar para conformar um experimento a uma teoria vigente, e mais se procura desafiar a hipótese nula que, em última análise, rejeitará ou não uma diferença entre a teoria vigente e o resultado de uma análise neutra. Isto constitui um verdadeiro avanço, e normalmente tais avanços esbarram na resistência do establishment que, como já vimos, é conservador. Contudo, à medida que os resultados que desafiam a teoria vigente são publicados e começam a ser reproduzidos por outros observadores independentes, eles começarão a serem discutidos pela comunidade científica. J. B. S. Haldane expressou ironicamente este fenômeno dizendo que uma nova teoria deve vencer os seguintes quatro estágios até ser aceita na comunidade científica:

1.      “isso não passa de uma bobagem”;

2.      “é uma teoria inteligente, mas infelizmente errada”;

3.      “bem, é verdade mas não tem valor científico”;

4.      “eu sempre disse que essa teoria é perfeita!”

Por outro lado, uma teoria pode nascer da necessidade de explicar evidências à medida que elas se acumulam sem que seja necessariamente comprovada. Essas teorias são julgadas mais pela sua simplicidade, beleza e apelo intuitivo, do que pela massa de dados que lhe serve de lastro. Uma simples teoria pode dizer mais sobre a Natureza do que uma coleção de dados, como é o caso da Teoria da Evolução que jamais foi comprovada experimentalmente. Por outro lado, uma teoria, ainda que nascida de “rigorosa análise”, pode não ter valor algum se os dados são obtidos dentro de um esquema formulado segundo uma opinião preconcebida (ou seja, nem sempre os dados falam por si mesmos). A literatura científica está cheia de tais exemplos, e como em certos setores é o interesse corporativo quem manda, muitos destes resultados viciados prevalecem nesses campos. Vemos atualmente um exemplo candente na argumentação pseudocientífica da chamada “antipsiquiatria” que procura, por meio de argumentos ideológicos e raciocínio tipicamente reducionista, negar a realidade da doença mental.