Türbe, kentin kuzeyinde, Arafat tepesinin yanındaki küçük bir tepe üzerindedir. Türbe kapısı önünde duran birkaç yüz kiloluk taşla, türbenin buraya yapılması arasında kurulan ilişki halk arsında bugün de söylenir. Derler ki; bu taşı Koyun Baba (ada tepeden) uzaklardan fırlatmış, düştüğü yere gömülmeyi dilemiş ve türbesi de buraya yapılmıştır. Türbenin bugün yerinde bulunmayan yazıtından anlaşıldığına göre, yapım tarihi, 874 H. (1467 M.) dir. Düzgün moloz taşlarla örülmüş türbede, gerek ön plan gerekse türbe külahı, sıvalı yüzleri ve yenilenmiş öğeleri ile, yakın geçmişteki onarımları sergilemektedir. Sekizgen planlı türbede, külahlı ana hacma, önden iki bölümlü, revaklı bir giriş kısmı eklenmiştir.
       Tepeden yer alan yapı, büyük bir bahçe içine, kenara yerleştirilmiştir. Bahçenin iki renkli mermer kapısı üzerinde, iki satırlık bir yazıt bulunur. Kapının segment kemerini oluşturan taşlardan kilit taşı üzerine, katmerli bir çiçeği anımsatan bir gülbezek işlenmiştir. Zamanında, türbeden başka, 33 odalı bir imaretin ve zengin vakıflarla beslenen büyük bir tekke oluşturan çok sayıda mekanın bir arada bulunduğunu Evliya Çelebi bildirmekte, türbe ve öteki yapılarla ilgili olarak şunları söylemektedir: “...bu şehrin (Osmancığın) batı tarafında Bektaşilerin Şeyhi gömülüdür. Bütün dünyanın ziyaret yeri, Evliyaların umdesi, asfiyaların zübdesi, Şeyh Hazreti Koyun Baba; Bizzat Hazreti Bektaşi-i Velinin halifesidir. Burada defnedilmiştir. Sonra Hazreti Sultan Beyaz id Veli, Koyun Babayı kadir gecesi rüyasında görüp vasiyeti üzerine mezarının üzerine bir kubbe, bir cami şerif, şanlı Dervişler için bir meydan, bir yemek ve ziyafet evi, gelip geçenler için bir misafirhane, birçok odalı mutfak, kiler yaptırmış, bu hayır binalarını baştan başa kurşun ile örttürmüştür. Gayet mamur bir yüksek bina olup, bir fersahlık yerden gök deniz gibi kurşunlar dalgalanır. Nurlu kubbesinin aleminin ışığından insanın gözü kamaşır. Mutfağında nimeti gece gündüz eksik değildir. Koyun Baba ile ilgili daha pek çok şey anlatılır. Özetlersek, Osmancık’taki tarihsel yapıtlar içinde, özel bir yeri olan Koyun Baba Türbesi, bu yerini yapısal özelliklerinden çok, Koyun Baba’nın rivayetlerle bezeli yaşamından ve kişiliğinden almaktadır.