Począwszy od swych pierwszych prac G. krytykował logikę Arystotelesa, zwł. jego teorię sylogizmów - metoda sylogistyczna nie nadaje się do zdobywania pewnej wiedzy o świecie przyrody. Twierdził, że logika Arystotelesa jest zawiła i mało użyteczna w praktyce naukowej, a nawet pozbawiona podstaw. Logice Arystotelesa przeciwstawił kanonikę Epikura, sądząc, że jest ona nie tylko immunizowana na zarzuty starożytnych sceptyków, ale również bardziej przydatna dla empirycznie zorientowanych badań naukowych. Mimo że krytyka filozofii Arystotelesa miała u G. charakter programowy, to jednak niektóre tezy Stagiryty akceptował (np. stanowisko Arystotelesa w sporze o źródła poznania). Z pozycji empiryzmu genetycznego, ale stowarzyszonego ze stanowiskiem nominalistycznym, krytykował G. różne wersje natywizmu, zwł. teorię idei wrodzonych Kartezjusza. Biorąc za podstawę wyniki tej krytyki odrzucał psychologiczny - oparty na idei doskonałego bytu wszczepionego przez Boga (lub Naturę) - dowód na istnienia Boga, zaś w wyniku systematycznej krytyki esencjalistycznej metafizyki Kartezjusza (podważającej m.in. realną różnicę pomiędzy istotą i istnieniem) odrzucał także kartezjańską wersję ontologicznego dowodu na istnienie Boga, akceptując jedynie dowody na istnienie Boga oparte na harmonii i celowości świata (ex gubernatione rerum).