地名由來(lái)：1620年，黃姓人遷徙鳳凰山（又名落鳳坡，今小黃山村北山）南坡定居，繁衍生息，后又分支到荊山一帶生活。到清朝時(shí)期，有黃姓一人被封為將軍，并將“鳳凰山”改名“小黃山”。大黃山村后有一座山也叫鳳凰山，因其比“小黃山”高，而改名“大黃山”，后隨時(shí)代變遷逐漸形成大黃山鄉(xiāng)，大黃山鎮(zhèn)到現(xiàn)在大黃山街道。
2017年12月，江蘇省愛(ài)衛(wèi)會(huì)命名大黃山街道為2017年度江蘇省衛(wèi)生鎮(zhèn)（村）。
2013區(qū)劃調(diào)整：賈汪區(qū)：撤銷賈汪鎮(zhèn)、大吳鎮(zhèn)、廟山鎮(zhèn)，調(diào)整汴塘鎮(zhèn)、青山泉鎮(zhèn)部分區(qū)域，設(shè)立大泉、老礦、大吳、潘安湖、大黃山、大廟6個(gè)街道辦事處。其中，大廟街道辦事處、大黃山街道辦事處的人、財(cái)、物整建制交由徐州經(jīng)濟(jì)技術(shù)開(kāi)發(fā)區(qū)管理。
歷史沿革：
2013年8月16日，撤銷廟山鎮(zhèn)，設(shè)立大黃山街道和大廟街道。