黃山學院前身為始創于1978年的徽州師范專科學校；1997年12月，與原中國科技大學徽州大專班合并，更名為黃山高等專科學校；2000年8月，安徽省人民政府批準黃山林業學校成建制地并入黃山高等專科學校；2002年2月，經教育部批準，升格為黃山學院。 2014年，黃山學院獲批建設安徽省高等教育振興計劃地方應用型高水平大學項目、國家卓越農林人才教育培養計劃項目。2019年，學校正式被納入安徽省省級碩士立項建設單位。
截至2021年5月，學校分為率水、橫江兩個校區，占地面積1800畝，其中校舍建筑面積57.02萬平方米，教學設備總值3.06億元，擁有在校教職工995人，全日制學生1.8萬余人，設有16個二級學院、63個本科專業。