墨山由来传说：很古很古以前，墨山、蒙山这两个地方本没有山，平平坦坦，一望二十四里。后来精卫奉玉帝之命，挑着两箕山土，一箕东山，一箕南山，腾云驾雾，去填东海。路过此地，看见田园桑址，春风拂柳，人欢马叫，确是叫人喜爱。一时忘记肩上的土挑子，就舞手撒脚。肩头一斜，一箕东山塌在溪边，化作蒙山，一箕南山落在田心，化成墨山。

墨山位于上高县西部，驻地东距上高县城39公里，西距宜春市区51公里，东接徐家渡镇、西，南连田心镇，北界镇渡乡，全乡总面积23平方公里。320国道横贯全境，是上高西部商贸集散地。

2013年11月，经省民政厅批准，设立墨山乡，并保留墨山垦殖场，场乡合署办公，是场乡合一的单位，辖思泉、果园新村、界港、香山、坑林、石水6个村，1个思泉铺居委会。墨山乡驻地思泉铺（原名荞麦陂、司前铺），因地表水源严重短缺思念清泉而得名。

1956年冬，南昌专署区农垦局投资筹建墨山农场。

1957年冬，省、地干部上山下乡到此创办，始名国营墨山农场，隶属南昌专署。

1957年8月更名国营墨山垦殖场，1958年九峰垦殖场、五香铺养兔场并入，改称墨山综合垦殖场。

1968年10月，改属上高县管辖，与镇渡人民公社、九峰垦殖场合并为墨山人民公社（场），驻思泉铺，辖镇渡（东风）、洋田（永红）、社田、井头（卫东）、埠头（立新）、石水、山村7个生产大队。

1972年社、场分开，划出镇渡人民公社和九峰林场，恢复墨山垦殖场，辖石水、坑林2个生产大队及思泉铺、路口、果园（1974年设）、界港、茶亭岭5个分场。

1985年4月经省政府批准，将场部所辖的挂钩集体村改设墨山乡，成为场乡合一的单位。

1997年7月经省政府批准，撤销墨山乡，设立思泉铺镇，成为镇场合一的单位。

2003年8月撤销镇建制，保留墨山垦殖场，其所属石水、坑林两个村成建制划归田心镇管辖。

2013年经省民政厅批准，重新设立乡建制，再次成为场乡合一单位至今。

2017年7月，石水、坑林两个村划归墨山乡管辖。

墨山人口除垦殖场建场初期的本地农民外，垦殖场四个分场即现在的思泉村、果园新村、界港村、香山村，分布的大多是原垦殖场职工，职工来源不仅包括来自本省清江、新余、高安、万载、宜春等地的自流人员，也包括来自外省如湖南浏阳、湘潭等地人口，甚至还有少数河南、安徽、江苏、浙江省籍人口到此安家落户。

旧县志载，上高有八景，其中一处为“墨岭晴云”。墨山最高峰云霄岭（俗称簿落顶），海拔798米，群峰簇拥。“晴日丽长空，云上墨山岭”。登上云霄岭，将可看到一幅气象万千的壮丽景象，近处白云翻滚，远处银浪滔滔。阳光透过重重云雾时，红云裹着白絮，白云镶着金边，色彩纷呈，迷迷蒙蒙，缥缥缈缈，苍松翠竹，若隐若现，使人如置身于幻境。

每年农历八月二十五日，是墨山的传统大圩——路口大圩。路口大圩起源于南宋时期，相传南宋名将岳飞南下湖南浏阳经过此地，在此设大圩购买战马，此后代代相沿。每年逢圩那天，当圩人数多达数万，以交易马、牛、狗、猪、羊、山货、木器、篦器和旧衣物为主。可谓人山人海，热闹非凡，车马无法通过。

相传，清朝乾隆皇帝云游江西曾夸“天下大汉口，江西大路口”，后者正指此地。故此，路口大圩成为闻名赣、湘、鄂、皖、桂数省名圩。1970年路口大圩移址思泉铺。