Abdulvahabi Gazi'nin türbesinin Akkaya kayası üzerinde yer alması, tarihsel ve manevi bir derinlik taşır. Rivayetler, onun naaşının uzun bir süre kaybolduktan sonra, bir Allah dostunun rüyasıyla bulunarak buraya defnedildiğini anlatır. Bu olay, hem Abdülvahhab Gazi'nin kahramanlık hikayesini hem de inançların gücünü simgelerken, türbenin bulunduğu bölgenin de önemli bir ziyaret yeri haline gelmesine neden olmuştur.

Abdülvahhab Gazi'nin türbesinin Akkaya kayası üzerinde olmasının sebebi, naaşının uzun yıllar kumların içinde kaldıktan sonra bir Allah dostunun rüyasında vasiyet etmesi üzerine bulunup buraya defnedilmesidir. Rivayetlere göre, Abdülvahhab Gazi, 731 yılında Bizanslılara karşı yapılan bir savaşta şehit düşmüş ve naaşı Mısmılırmak Deresi tarafından sürüklenerek Sivas'a kadar gelmiştir. Kumların içinde uzun süre kaldıktan sonra, bir Allah dostu rüyasında Abdülvahhab Gazi'nin yerini işaret etmiş ve naaşı bulunarak Yukarı Tekke olarak bilinen kayalığa defnedilmiştir. Bu olay, türbenin bulunduğu bölgenin "Yukarı Tekke" olarak anılmasına yol açmıştır.