大兴安岭地区行政公署辖2个县1个市4个区、29个镇、10个乡、4个街道。

呼玛县辖2个镇、6个乡，即呼玛镇、韩家园镇；兴华乡、北疆乡、白银纳鄂伦春族乡、鸥浦乡、金山乡、三卡乡。

塔河县辖5个镇、2个乡，即塔河镇、盘古镇、瓦拉干镇、古驿镇、开库康镇；依西肯乡、十八站鄂伦春族乡。

漠河市（2018年2月由县变市）辖6个镇，即西林吉镇、兴安镇、图强镇、阿木尔镇、北极镇、古莲镇。

加格达奇区辖2个乡、2个镇、4个街道，即加北乡、白桦乡；东山镇、长虹镇；卫东街道办事处、红旗街道办事处、曙光街道办事处、光明街道办事处。

松岭区辖3个镇，即小扬气镇、古源镇、劲松镇。

新林区辖7个镇，即新林镇、翠岗镇、塔源镇、碧洲镇、宏图镇、大乌苏镇、塔尔根镇。

呼中区辖4个镇，即呼中镇、碧水镇、呼源镇、宏伟镇。

先秦时期，为东胡部落活动区域。

两汉和两晋时期，为鲜卑拓跋部活动区域。

北魏时期，岭南为乌洛侯地，岭北为室韦地。

唐代，为室韦督都府属地，受平卢节度使管辖。

辽代，为东京道室韦王府辖区。岭南和岭西归乌古敌烈统军司，岭北归东北路统军司。

金代，属蒲与路，归东北路招讨司。

元代，1214年，属成吉思汗幼弟帖木哥·斡赤斤封地。1235年（蒙古窝阔台七年），实行行省制后，归辽阳行省开元路管辖。

明代，属奴儿干都司管辖。今漠河县归木河卫管辖，塔河县归塔哈卫管辖，呼玛县和新林区归额克卫管辖，加格达奇区、松岭区和呼中区归木里吉卫管辖。

1645年（清顺治二年），归盛京驻防内大臣（1646年改称昂邦章京）管辖。

1653年（清顺治十年），归宁古塔昂邦章京管辖。

1669年（清康熙八年），境内鄂伦春族、达斡尔族、鄂温克族直属清廷理藩院。

1683年（清康熙二十二年），为黑龙江将军衙门属地，岭南归墨尔根副都统管辖，岭北归瑷珲副都统管辖。

1689年（清康熙二十八年），达斡尔、鄂温克和鄂伦春族人归布特哈总管衙门管理。

1871年（清同治十年），清廷将鄂伦春族人按住地分编为五路设协领。今大兴安岭阿里河流域为阿力路协领管辖，呼玛河流域为库玛尔路协领管辖，多布库尔河流域为多布库尔路协领管辖。

1882年（清光绪八年），由黑龙江将军兴安城总管管理鄂伦春五路。

1894年（清光绪二十年），撤裁兴安城总管。鄂伦春阿力路、多布库尔路归黑龙江将军墨尔根副都统管辖；库玛尔路归瑷珲副都统（亦称黑龙江副都统）管辖。

1908年（清光绪三十四年），岭南为黑龙江行省（简称黑龙江省）嫩江府管辖，岭北为瑷珲直隶厅管辖。

1914年（民国3年），岭南隶属黑龙江省嫩江县。1月11日，岭北设呼玛县、漠河设治局，隶属黑河道。

1917年（民国6年），漠河设治局改制为漠河县，隶属于黑龙江省黑河道。

1929年（民国18年），呼玛县辟设鸥浦县。呼玛县、漠河县、鸥浦县隶属于黑龙江省黑河市政筹备处。

1934年（民国23年），大兴安岭一带沦陷后，岭南归伪兴安东省巴彦旗管辖。岭北三县为伪黑河省管辖。

1945年11月，岭北三县由黑龙江省黑河地区行政办事处管辖。1946年3月，岭南由纳文慕仁盟巴彦旗管辖；8月12日，岭北三县由黑龙江省黑河行政督察专员公署管辖。

1947年2月，岭北三县隶属黑嫩省第五行政督察专员公署。3月，三县合并为呼玛县。5月，岭南属纳文慕仁盟莫力达瓦达斡尔族自治旗（与巴彦旗合并）管辖。

1951年10月31日，岭南归呼伦贝尔盟新成立的鄂伦春旗管辖（1952年5月，改为自治旗）。

1964年2月10日，中共中央、国务院决定开发建设大兴安岭东北坡。将内蒙古呼伦贝尔盟鄂伦春自治旗、莫力达瓦达斡尔族自治旗行政区一部分，黑龙江省黑河专区呼玛县和嫩江县行政区一部分，划归会战区。

1964年8月10日，中共中央、国务院批准在大兴安岭会战区成立大兴安岭特区人民委员会（省辖市级），受会战指挥部和行政区所在省（自治区）双重领导，地方行政工作受黑龙江省政府领导。各林业公司设区政府，林场设乡（镇）政府。是时，特区辖有松岭区、新林区、塔河区。

1965年1月，林业部在大兴安岭会战区设立大兴安岭林业管理局，与大兴安岭特区政府实行政企合一管理体制。

1966年4月20日，将黑河专区呼玛县“嫩漠公路”以北和呼伦贝尔盟鄂伦春自治旗东南部划归大兴安岭特区行政区。

1967年11月26日，大兴安岭特区人民委员会改为大兴安岭特区革命委员会。

1968年4月，设呼中区。

1970年4月1日，大兴安岭特区改为大兴安岭地区。将原属黑河地区的呼玛县和原属呼伦贝尔盟的莫力达瓦达斡尔族自治旗、鄂伦春自治旗全建制划归大兴安岭地区管辖。原属牙克石林管局管理的阿里河、甘河、吉文和克一河林业局划归大兴安岭林业管理局。大兴安岭林业管理局隶属于黑龙江省林业总局。

1970年8月5日，设古莲区和阿木尔区。

1977年3月，设图强区。

1979年5月30日，将莫力达瓦达斡尔族自治旗和鄂伦春自治旗划归内蒙古自治区。原属鄂伦春自治旗的加格达奇区、松岭区仍由大兴安岭地区管辖，原属地权不变。阿里河、甘河、吉文和克一河林业局划归牙克石林管局。同年6月，大兴安岭林管局改为林业部直属企业。1980年9月4日，大兴安岭地区革命委员会改为大兴安岭地区行政公署，成为黑龙江省人民政府的派出机构。

1981年5月14日，古莲区改设漠河县，塔河区改设塔河县；图强区、阿木尔区撤销。

1982年3月6日，大兴安岭林管局企业管理体制（计划、财务）单独运作，仍直属林业部，与行政公署合署办公。

1986年1月29日，国务院批准行署、林管局所在地加格达奇区为县级区建制。

1996年3月，国务院正式批准成立大兴安岭林业集团公司，仍与行政公署合署办公。

2018年2月，经国务院批准，同意撤销漠河县，设立县级漠河市，以原漠河县的行政区域为漠河市的行政区域。