庆云古称无棣。隋开皇六年（586年）析阳信县北境置无棣县，因南临无棣沟（今河北省盐山县境内），因此得名。据《太平寰宇记》记载：“隋开皇六年置县，取县南无棣沟为名。”县城城址在今庆云县常家镇于家店村北，史称“西无棣”。于家店无棣故城历经隋、唐、五代、宋代前期、金泰和三年（1203年），除中间因战乱曾迁治他处的时间外，先后为无棣县治所530余年。

1265年，无棣县被忽必烈占领，实行东西分治，西无棣县（沧州无棣县），即今庆云县；东无棣县（棣州无棣县），即今无棣县。西无棣从1265年至1373年，历经108年。

明洪武初年，为避讳朱棣（朱元璋四子）名号，废无棣县。明洪武六年（1373年）置庆云县，知县杨思义移县治于鬲津河（今漳卫新河）北岸庆云乡址（今盐山县庆云镇），草创城垣，因无棣旧有庆云乡，庆云以此得名。

明成化二年(1466年)，知县张彪重筑城墙，城墙周回四里，高一丈五尺，宽三丈，护城河深一丈。城开四门，东曰“瞻岱”、南曰“观澜”、西曰“拱宸”、北曰“望海”。

明洪武六年，庆云建县城时，同时建有庆云县衙、庆云文庙和泰山行宫。泰山行宫与庆云县衙、庆云文庙并称庆云三大古迹。泰山行宫三面环水，一面邻街，为道教群体建筑，为庆云古八景之一，称“西山暮笛”。清代诗人崔旭有《西山暮笛》诗云：暮色苍然至，西山望转深。萧条吹断笛，缥缈有清音。远客家千里，微风月半林。上方秋夜静，更听水龙吟。