【由来】
武周证圣元年（695年），分须江、常山与弋阳之一部置县，因地有武安山，名武安县。神龙元年（705年）改武安（武则天省“武”字）为玉山县，因境内有相传天帝遗玉而成的怀玉山而得名。
【沿革】
春秋战国时先后属吴、越、楚三国。秦朝，金沙溪以东属会稽郡太（读“达”）末县，金沙溪以西属九江郡余汗（读“干”）县。
汉代，初沿旧属，至献帝初平三年（192年），分太末立新安县，东部属新安；建安十五年（210年），析余汗东境设葛阳县，隶鄱阳郡，县西境属葛阳县；建安二十二年（217年），又分新安设定阳县，县东境属定阳。
三国时，为吴国领地。西晋时期，初属东阳郡，隶吴州；至太康元年（280年），改新安为信安，县东境属信安、定阳两县地。
南朝（陈）天嘉三年（562），东境随信安、定阳县改隶金华郡。隋朝初，改郡为州，并定阳入信安，东境属信安县，隶婺州；开皇十二年（592年）改葛阳为弋阳，西境相应属弋阳县。
唐初，分属衢州常山、须江（今江山市）县和饶州弋阳县；证圣（周）年（695年），分须江、常山与弋阳之一部署县，因地有武安山，名武安县，隶江南道衢州；神龙元年（705年）改武安（武则天省“武”字）为玉山县，以境有怀玉山而名；天宝元年（742年）衢州改为信安郡，玉山亦随隶信安郡；乾元元年（758年）改信安郡为信州，玉山相应属信州，隶江南东道。
宋朝，初沿旧属，至建炎四年（1130年），江西路、江东路合并为江南路，玉山隶江南路；绍兴元年（1131年），复分江南路为江南东路、江南西路，玉山隶江南东路。
元朝，至元十四年（1277年），县属信州路，隶江浙行中书省；至正二十年（1360年），改路为府，县属广信府，仍隶江浙行中书省。
明朝，洪武四年（1371年），因隶江浙漕运不便，随广信府改隶江西行省；洪武九年废行中书省，设承宣布政使司，下分道，县随府隶江西承宣布政使司湖东道。清朝（1644年—1911年），属江西省广信府。
民国元年（1912年）冬，废府、州，县直隶江西省；民国三年（1914年），全省分四道，县隶豫章道；民国十五年（1926年）废道，县仍直隶于省；民国二十年（1931年），省下设行政区，玉山隶第九行政区（驻上饶）；民国二十一年（1932年）以后，江西五次改变行政区划，玉山均属第六行政区（驻上饶）。第二次国内革命战争时期（1930年—1934年），县西北山区为赣东北革命根据地之一部，先后建立过玉山县和怀玉县苏维埃政府。
民国三十八年（1949年）5月解放至8月，县隶赣东北行政区；9月行政区撤销，改隶上饶专区；1971年改专区为地区，玉山县隶上饶地区；1980年地区改为行政公署，县仍隶之；2000年10月撤销上饶地区行政公署，设上饶市，玉山县隶上饶市管辖。
