地名由來：古為來往行人的歇腳點，開有飯店，因有一東西向小山橫亙于店南，山名橫山，村名橫山店。明萬歷年間，有一道士路過，指著橫山對村民說：“此山有玉，何不名為玉山”。故改稱玉山。村因以更名。
2021年12月，河南省愛衛(wèi)辦命名玉山鎮(zhèn)為2021年度河南省健康鄉(xiāng)鎮(zhèn)。
玉山鎮(zhèn)地處遂平縣西北部18公里處，遂嵖公路穿境而過，東臨107國道、京廣鐵路、京珠高速公路，西有風(fēng)景秀麗的人間仙景----嵖岈山，自古是遂平西部重鎮(zhèn)，人杰地靈，商賈云集，1998年撤鄉(xiāng)建鎮(zhèn)，現(xiàn)為市級重點鎮(zhèn)，已完成省級重點鎮(zhèn)中招工作，有望躋身省級重點鎮(zhèn)?？偯娣e69平方公里，人口31000人，街道寬闊、基礎(chǔ)設(shè)施配套，交通電力、通訊等設(shè)施完善；資源豐富，養(yǎng)殖業(yè)、種植業(yè)、鄉(xiāng)鎮(zhèn)企業(yè)發(fā)達(dá)；投資環(huán)境優(yōu)越，區(qū)位優(yōu)勢明顯。
全國鄉(xiāng)鎮(zhèn)企業(yè)東西合作會以來，玉山鎮(zhèn)把東西合作、招商引資工作作為迅速擴張經(jīng)濟總量，加快鎮(zhèn)域經(jīng)濟快速發(fā)展，實施開放帶動戰(zhàn)略的核心內(nèi)容，積極拓寬合作領(lǐng)域，使合作的層次和質(zhì)量不斷提高，取得明顯成效。截止去年12月底，全鎮(zhèn)鄉(xiāng)鎮(zhèn)企業(yè)實現(xiàn)總產(chǎn)值3.65億元，同比增長15.8％，安排了大量剩余勞動力，從業(yè)人員增幅在3％以上，實現(xiàn)了農(nóng)業(yè)種植結(jié)構(gòu)調(diào)整和畜牧養(yǎng)殖業(yè)的重大突破，鄉(xiāng)鎮(zhèn)企業(yè)結(jié)構(gòu)得到優(yōu)化，經(jīng)濟效益和社會效益十分顯著。
2002年全鎮(zhèn)共發(fā)展煙葉1500畝，以煙葉作為突破口，同時帶動了林果、紅薯、花卉、藥材、瓜果、蔬菜面積的擴大，占地近百畝的玉山鎮(zhèn)花卉苗圃示范園成為全鎮(zhèn)種植結(jié)構(gòu)調(diào)整的盆景。在穩(wěn)定發(fā)展豬、雞的同時，加快發(fā)展節(jié)糧食草型畜禽，購進(jìn)秸桿機35部，建造標(biāo)準(zhǔn)青貯池1萬立方米，青貯秸稈0.5萬畝。投資50萬元建成了玉山鎮(zhèn)肉牛育肥場，發(fā)展肉牛繁育、育肥戶400多戶；投資20萬元建成了玉山鎮(zhèn)波爾山羊繁育基地，同時鞏固了年出欄50萬只肉雞的玉山鎮(zhèn)養(yǎng)雞場的龍頭地位。經(jīng)過幾年的努力，玉山鎮(zhèn)已形成東西、南北兩條主干街道，并形成交易市場，在此基礎(chǔ)上，我們投資28萬元在全縣率先建成了鎮(zhèn)中心幼兒園，投資70萬元建造了鎮(zhèn)中宿舍樓，2001年完成了賈莊小集鎮(zhèn)的拆遷、規(guī)劃和建設(shè)，小集鎮(zhèn)已初具規(guī)模。同時鎮(zhèn)里成立了市場服務(wù)中心和市容保潔隊，加大了鎮(zhèn)區(qū)的環(huán)境整治工作，小集鎮(zhèn)建設(shè)步伐加快。
全國鄉(xiāng)鎮(zhèn)企業(yè)東西合作會以來，玉山鎮(zhèn)把東西合作、招商引資工作作為迅速擴張經(jīng)濟總量的措施。本著“以情招商、以誠招商、以廠招商、以鎮(zhèn)招商、以地招商”的五大原則，加快鎮(zhèn)域經(jīng)濟快速發(fā)展，實施開放帶動戰(zhàn)略的核心內(nèi)容，強化措施，狠抓落實，加大招商引資力度，拓寬合作領(lǐng)域，使合作的層次和質(zhì)量不斷提高，取得了明顯成效。
歷史沿革：
明、清屬遂平縣。
1931年屬五區(qū)（玉山）。
1936年屬第四區(qū)。
1941年建玉山鎮(zhèn)。
1949年分屬二區(qū)（沈寨）、三區(qū)（玉山）。
1955年建玉山中心鄉(xiāng)。
1959年成立玉山人民公社。
1983年改設(shè)玉山鄉(xiāng)。
1997年設(shè)玉山鎮(zhèn)。