秦始皇三十三年（前214年），置四会县，以其境内四水（西江、北江、绥江、龙江）汇流故名。为广东境内建置最早的秦代古县之一。
二战末美军航空测绘四会周边地形图
汉武帝元鼎六年（前111年），汉军灭南越，四会县改属南海郡。
北宋重和元年（1118年），四会改属肇庆府。四会建置以来始终无城。
因测绘人员有事县志缺图
明洪武初，因战乱四会当地百姓多流亡困苦，先有四会陆氏陆达仁倾家资救民于水火。其家族世居金鸡山，洪武二十三年（1390年），设立千户所，肇庆卫指挥冯复始立木栅城于此。因木栅城圈占陆氏族居地，官府遂将橄榄废仓地补偿于陆氏一族。
国民政府陆军部测绘四会县城
天顺三年（1461年），广西流寇劫掠至广东境内，四会县治当其冲要，受荼毒颇深。肇庆知府黄瑜向广东巡抚叶盛请示，请于四会筑城。
获准后由布政使司张瑄总领其事，知府黄瑜丈量土地，经历吴浩、县丞叶茂协同守备指挥祖瑄等按军三民七之比分配筑城。至天顺八年起筑，新城以石为基，内夯以土，外包砖块。城周五百七十六丈八尺，高二丈，历时三年完工。
50年代四会县
女墙、垛口、箭台一应俱全。开设城门四座：东门阳和、西门德泽、南门清宁、北门镇安，四门之外皆廓有瓮城。万历四十六年，知县谢子诏于东南隅靠学宫一侧增开文明门，但不久后又被塞废。
四会古县城范围示意
清乾隆二年，复开文明门，并于五座城门上各建城楼。嘉庆十八年夏，大风致两江水涨，周围城墙崩塌，城楼皆有损毁。知县吴自求请借领库银，并拆卖城楼旧木材，耗时五年修复一新。
咸丰四年（1854年）六月，天地会首领陈金在范湖率众起义，三水客家人翁芹芳组织义军到与四会县的陈水、苏程、练四虎、胡得广、吴万等义军会合攻打四会县城。由于声势浩大，四会知县牟考祥、守备张国芳等弃城逃命。
1941年四会县图（右上盖有民国时期四会县政府印）
次年清军克复四会县城，城池已显残破。到咸丰九年时，知县为防备太平军筹款五千两白银修缮城防。当年六月竣工后，太平军练四虎（原天地会义军，归附于太平天国）拥众围城百日，期间以地雷爆破城基崩陷，守军力守补筑，赖以保全。
1942年四会调整邑乡镇地域图
清末至民国，每当绥江、龙江两江洪水到来，四会县城的四个城门均会落闸板抵挡洪水，将洪水阻隔于城外。但由于城墙年久失修，日渐残破，到民国末其防洪功能虽然尚在，但却已大不如前。解放后，城墙被逐渐拆毁，至今无存。
