1992年9月，国务院批复同意开放黄山航空口岸，并在口岸设立海关等机构。1993年5月，随着黄山至香港开通旅游包机，合肥海关设立了黄山旅检科。1995年3月，海关总署批准设立黄山海关，正处级，隶属合肥海关领导。同年4月，黄山海关筹备处成立。1996年11月12日，黄山海关正式开关，时任国务院总理李鹏亲手为黄山海关题写了关名。

黄山海关内设办公室、综合业务一科、综合业务二科、监管科、旅检科5个科室。同时受托管理茶检中心、海风楼招待所、茗苑宾馆。

业务辖区为黄山市三区四县，业务范畴为通关、税收征管、进出口商品检验监管、进出口动植物检疫监管、企业管理等，同时负责黄山航空口岸出入境运输工具、人员、行李物品、免税店、水果口岸的监管和卫生检疫。

近年来，黄山海关获得第六届全国文明单位称号、第十二届安徽省文明单位称号，黄山海关团支部荣获2019年度安徽省五四红旗团支部，第二党支部荣获2019年度全国海关基层党建示范品牌。