二连最早有人居住的地方，在市区东北9公里处的二连盐池。二连盐池系蒙古语“额仁达布散淖尔”的汉译。“额仁”有“海市蜃楼”之意，“达布散淖尔”意为盐湖。早在原始社会就有古游猎部落，春秋战国时期为林胡地，亦称东胡地。秦汉时匈奴迁徙在此，东汉时期为乌恒、鲜卑入居，隋唐二代由突厥徙牧。辽为漠葛失部地，金为汪古部族地。元属上都苏尼特鄂托克地，设玉龙栈。据《元史·宪宗纪》载，蒙哥汗在此会见忽必烈，设大宴并共商国是军情。明英宗十四年（1449年）归北元左翼三万户，称苏尼特鄂托克。清嘉庆25年（1820年）设置“伊林”驿站。光绪十五年（1889年），清政府架通张家口至库伦（今蒙古国乌兰巴托）的电话线，又设电报局，并将该地标入当时的地图集，名曰“二连”；1918年，张家口旅蒙商景学钤等人创办“大成张库汽车公司”，开通了张家口至库伦（今蒙古国乌兰巴托）汽车运输线，二连盐池成为这条运输线上的重要站点之一，站名“滂北”。1953年集二铁路正式动工修建，在铁路选线时，为避开盐池低洼地形，从传统交通线西移9公里，又在传统边境线南6.5公里处建国境火车站，站名始称“额仁”，因发音不便，更作“二连”。1956年1月，中、朝、越、苏、蒙及东欧各社会主义国家参加的铁路联运正式开通，以车站为中心的建筑群便成为二连的雏形。1956年3月7日，设二连镇，隶属锡林郭勒盟苏尼特右旗。1957年7月14日，升格为县级建制，于“二连”后加缀“浩特”（蒙语意为城市）一词，隶属锡林郭勒盟。1966年1月，经国务院批准设市。1969年11月，划归乌兰察布盟，1980年5月，重新划回锡林郭勒盟。1984年9月，胡耀邦同志视察二连并提出“南有深圳，北有二连”。1985年1月，内蒙古自治区批准二连升格为准地级市。1985年6月，国务院批准二连为甲类开放城市。1986年3月，自治区政府批准二连为计划单列市。1992年7月，二连被国务院列为13个沿边开放城市之一。1994年8月，胡锦涛同志视察二连，作出“在边字上做文章，在开放上下功夫，在内联上求发展”的重要指示，为二连的开放发展指明了方向。2014年6月5日，二连经国务院批准成为全国第二批重点开发开放试验区。2014年8月份，习近平总书记访问蒙古国期间提出“双方同意研究在中国二连浩特—蒙古国扎门乌德等地建立跨境经济合作区”。