蚌埠被称为“匪城”是因为九十年代初，蚌埠火车站当时火车流量特别大，很多车都要路过蚌埠。碰巧当时蚌埠的治安比较乱，火车站那里和列车上经常有强抢旅客财物的，所以很多外地人的印象就是蚌埠土匪多。

蚌埠因古代盛产河蚌而得名，有“珍珠城”的美誉。公元前三世纪末至公元前三世纪初，今蚌埠地域分属九江、泗水两郡。其东部（今凤阳县境内）设钟离县。汉高祖四年，今蚌埠淮河北归属沛郡，淮河南归属淮南国。武帝元狩元年淮南国复改为九江郡，并在蚌埠西部（今怀远县境内）设置当涂县。隋开皇二年，西楚州改为濠州；废荆山郡，马头县改为涂山县。大业三年，又将濠州改为钟离郡，领钟离、涂山县。今蚌埠北郊则属彭城郡谷阳县域。北宋元佑元年，今蚌埠淮河北隶于新置灵璧县，为淮南东路宿州所辖；淮河以南只存钟离县，为淮南西路濠州所辖。宣和七年，金兵南下陷汴京，取淮北，宿州初为山东西路领，至金大定六年改属南京路。明洪武二年，凤阳建中都，钟离县更名中立县，翌年再改名为临淮县。洪武六年，撤中都设中立府。洪武七年，中立府迁新城改名凤阳府，临淮县亦改名凤阳县；蚌埠西部仍为怀远县，东北为五河县。三个县明初均为中书省凤阳府所领。永乐元年，凤阳府为南京直隶。民国元年，蚌埠三县司废，河南岸改属凤阳县，置二区公署；河北岸小蚌埠属灵璧县，一直到民国35年。民国3年，恢复道制，蚌埠河南岸属安徽省淮泗道凤阳县辖。民国18年，蚌埠曾成立市政筹备处，但翌年即撤销，仍属凤阳县所辖。