相传这座清真寺始建于唐，经考证为明代建筑。1981年维修寺院时，发现两块藏于殿顶内的志年望砖，铭文一为“明天启年建，道光年重修”，一为“光绪年重修”。该寺位于县城内南大街留犊祠巷西清真寺巷内，清真寺坐西向东，总面积5600多平方米。

寺内有三进重院，前院正门为大中门，正中是主建筑物无相宝殿，即礼拜殿，殿前有石台，两厢为阿文教学用房。后院是由环绕无相宝殿围墙形成。院内有4棵绿荫蔽日的参天银杏树，寺院肃穆、庄重。

无相宝殿面阔五间，进深七间，殿四周均有走廊，立有石廊柱。殿南、北两侧各开券门五道。结构、雕饰均具有明代建筑的特点。殿内原悬二十块清康熙年间至宣统年问赐匾，今已不存，现尚有乾隆至光绪年问碑刻六方。

清真寺建于城内西北隅，明代天启年间移今址。寺内院落东西长128米，南北宽44米。中轴线上布置三进重院：前院正门为大中门，两侧设偏门。正屋为二门，西侧亦设有偏门。二进院落为中院，正殿为无相宝殿，即礼拜殿。礼拜殿面阔5间，深7间，四周设廊，正面通作隔扇门，两侧中开为大中门，两侧设偏门。正屋为二门，两侧亦设有偏门。二进院落为中院，正殿为无相宝殿，即礼拜殿。礼拜殿面阔5间，深7间，四周设廊，正面通作隔扇门，两侧各开券门5道，两股一体，重檐歇山顶，以勾连结式衔接。殿内明柱50根，内涵49间半，936平方米。殿前为平台，南北厢房原为阿文大、中、小学教室及水房等。北厢房西接“筛海洞”。后院由无相宝殿环以垣墙组成。南北面观，檐飞角交，壁合珠联；东西相望，壮阔雄伟，浑然一体。