Masjid ini dipercayai pernah menjadi tempat berkumpulnya para ulama (wali) yang menyebarkan agama Islam di tanahJawa yang disebut dengan Walisongo. Pendiri masjid ini diperkirakan adalah Raden Patah, yaitu raja pertama dari Kesultanan Demak sekitar abad ke-15 Masehi.
Raden Patah bersama Wali Songo mendirikan masjid yang karismatik ini dengan memberi gambar serupa bulus. Ini merupakan candra sengkala memet, dengan artiSarira Sunyi Kiblating Gusti yang bermakna tahun 1401 Saka. Gambar bulus terdiri atas kepala yang berarti angka 1 (satu), 4 kaki berarti angka 4 (empat), badan bulus berarti angka 0 (nol), ekor bulus berarti angka 1 (satu). Dari simbol ini diperkirakan Masjid Agung Demak berdiri pada tahun 1401 Saka.