钟鼓楼台基始建于清道光元年(1821年)，为宁夏知府赵宜喧主持建造，并手书了洞额石刻题记。

光绪三十四年(1908年)，宁夏地方绅商捐资在台基上又建了三层楼梁架，后因"款绌停辍"。直到民国6年(1917年)，才由宁夏县知事余鼎铭接续重建，并在四角增盖了券棚顶角坊。落成后的钟鼓楼，曾悬大钟一口。