该寺约建于1918年以后，原寺址不详。至1948年春，穆斯林商业巨子常子春、郑厚仁将台北丽水大街17巷2号一幢日式房屋捐作清真寺，即称台北清真大寺，亦称丽水街清真寺。1958年台湾“中国回教协会”理事长时子周、清真大寺董事长常子春等人发起集资购地重建。1958年11月动工兴建。196O年4月落成。新建清真大寺位于台北市新生前路二段62号。占地面积1.5亩，是一座具有西亚伊斯兰建筑风格的寺院。绿树、铁栅环绕整个建筑。寺院坐西向东；入铁栅大门拾级而上，是3个拱形门洞，门内为南北相通的拱形门洞式甬道，可通行汽车。经甬道入内是高大的拱形门楼，两座穹窿圆顶在门楼两侧相对屹立、楼顶为东西长方形平台，气势宏伟的穹窿大圆顶座落在平台上，其顶端的新月标志絮絮生辉。清真寺前北内院建有对称的两座高耸人云的宣礼塔，塔内设梯道，可供登临。主体建筑为礼拜大殿，宽敞明亮，可容1OOO余人同时礼拜。寺内还建有贵宾室、教长室、办公室、净水房以及可容纳4O0人的大厅。该寺历来居台湾各清真寺之首。中国伊斯兰教学者、翻译家王静斋阿訇、教育家乌松亭阿訇曾一度在该寺主持教务。马合江、马吉祥两位阿拉伯语教授曾先后任该寺伊玛目多年，现任伊玛目为伊斯兰教学者定中明。该寺由董事会处理日常寺务，现任董事长为谢松涛。1954年，寺内附设古兰经翻译委员会，1959年由时子周在该寺主持翻译出版了《古兰经国语译解》。今台湾“中国回教协会”和“中国回教文化教育基金会”也设于该寺内。