不過，談到惠斯頓，喜愛研究聖經的人通常會記得他是《約瑟夫斯文集》英語版的譯者。這部文集是1世紀猶太歷史家約瑟夫斯的著作，內容讓人了解猶太人的歷史，以及跟早期基督徒有關的事。

惠斯頓博學多才，尤其喜歡鑽研科學和宗教。他相信聖經中關於創造的記載是真確的，並認為自然界的設計、秩序和美感都足以證明，萬物是上帝設計和創造的。

此外，惠斯頓認為基督教之所以分裂為許多不同的教派，是因為教士們沒有按照聖經教導人，反倒採納了教會會議和教父提出的不符合聖經的道理和主張。

惠斯頓深信聖經含有來自上帝的真理。由於尊重聖經，他不同意地獄永刑這個教義。他認為這個教義荒誕不經，而且把上帝描述為一位殘忍的神，對上帝是一種侮辱。不過，他跟教會出現矛盾的最主要原因，是他否定三位一體的道理。根據這個道理，上帝有三個位格，就是父、子和聖靈，三者不但同等，也同樣永存，但他們不是三個神，而是一個神。

經過一番仔細研究後，惠斯頓看出三位一體不是早期基督徒的信仰，而是在異教哲學滲入基督教以後才被人採納的一個道理。 *他的朋友警告他，公開這個結論會對他不利。可是，惠斯頓知道耶穌是上帝創造的，他的真正身份是上帝的兒子，這個真理既然被人歪曲了，他就不能噤口不言。

劍橋大學不允許任何跟聖公會唱反調的人在校內任職，這意味著惠斯頓可能會喪失他的教席。雖然如此，他並沒有像牛頓那樣，知道三位一體的道理不對卻不敢說出來。惠斯頓說：「任何世俗的理由都不能阻止我做對的事。」

1710年，惠斯頓被劍橋免職。由於不肯放棄信仰，惠斯頓「不但喪失了顯赫的地位，還備受排擠」。可是，他一點沒有退縮。正當他被控離經叛道之際，他寫了好幾篇文章，合稱《原始基督教的復甦》。「原始基督教」指的是耶穌的早期門徒信奉的基督教。後來，他又成立了一個旨在恢復原始基督教的團體，並以自己在倫敦的家作為成員集會的地點。

失去教席後，惠斯頓一度陷入經濟困境，不過他仍繼續寫作，也在倫敦的一些咖啡廳發表演說。惠斯頓把約瑟夫斯的著作翻譯成英語，譯本在1737年發行。他的譯作有助人明白早期基督教的歷史背景，而且到今天還在印行。

惠斯頓勇於表明信仰，不怕受人排擠，因此到了今天，正如作家詹姆斯·福斯說，仍有很多人覺得他是個怪人。不過，也有一些人認為惠斯頓是個值得欽佩的聖經學者，也欣賞他熱切尋求真理，堅守自己的信仰。