傳說當年楊二朗擔山攆太陽，最後一個瘸腿的太陽因奔跑不動，躲在這山下，由此被稱作"避陽山"。山上盛產一種叫"紫柴胡"的中草藥，每年夏秋之際，各地藥農中有人叫它"紫陽山"，順口又好記，久而久之，紫陽山就這麼被叫開了。
這紫陽山還有一個動人的故事相傳至今。
淮河兩岸農家有大清早拾糞的習慣。這年初冬的一天清早，天剛矇矇亮，紫陽山下小朱莊的朱老漢揹著糞箕、挾著糞鏟和往常一樣莊前莊後的拾糞。忽然，看見紫陽山半山腰不斷閃著金光，遠遠看去像是有位女子在趕驢推磨。朱老漢納悶，這一大清早誰家女子在半山腰推磨呢？不由向閃光處走去。走了好大一會，才近得跟前。原來是一位貌若天仙的年輕女子趕著一頭暈身閃為光的大馬拉磨，磨眼上一小堆黃豆。朱老漢在一旁看得眼發花，那女子見朱老漢盯著磨盤傻看，沒有吱聲，只是朝老漢笑了笑，算是打了招呼，便順手舀了一瓢黃豆給朱老漢。朱老漢忙撩起長袍接著，順手將長袍一角掖在腰帶上。那女子繼續埋頭幹活，再不搭理朱老漢。朱老漢謝了一身，轉身回村去了。
回到家，他把剛才見到的奇事和家裡人一說，誰也不相信，認為他是編故事逗大家。朱老漢急了，生氣地說："不信，你們看我兜裡的黃豆。"朱老漢拽下掖在腰帶上的長袍一看，裡面還剩有幾粒，因為朱老漢一開始就沒把黃豆當一回事，一路走來基本上掉光了。兒媳眼尖手快伸手抓了一粒，一看黃豆金光閃閃，驚叫起來："媽呀，是金豆子！"這一叫，全家人都圍了過來看，齊說："是金豆子。"於是都彎下身在地上找豆子來，找了半天，一共只有八爛豆子。兒子問老漢："那仙女給你多少豆子？"朱老漢說："給了一瓢，""我的天哪，都掉在跑上了。"老伴和兒媳同時叫了起來："快回去找。"
朱老漢全家一齊出動，睜大眼睛彎著腰順著朱老漢回家的路找起了金豆子。村裡人不知朱老漢一家發什麼神經病，一問才知找金豆子，也都一同跟著找。可是這麼多人從村口一直找到山上也沒找著一粒金豆子，也沒看見仙女拉金馬磨金豆子。大家都懷疑朱老漢講的事是假的，可是朱老漢確實有八粒金豆子。以朱老漢的家底子哪能有什麼金豆子呢？
朱老漢遇著仙女得了金豆子的故事，不脛而走，傳遍了十鄉八鎮。從那時起，每天天不亮就有很多人往紫陽山上跑，但誰也沒有再遇上仙女拉金馬磨金豆子的美事。
紫陽山下的紫陽鎮有個姓範的老財主，貪得無厭，聽到這金豆子的事，就一心想得到金馬、金磨、金豆子。他派人晝夜看守山間，不準任何人上山，連放牧的牧童也不準上山，還常常親自在山上看守。
一天，正當這範老財親自守山，半夜裡，忽然烏雲翻滾，雷電交加，大雨滂沱，他躲在一道山崖下。他的眼圓睜睜注視著周圍，忽然一道閃電照亮夜空，半山腰現出一個一丈見方的大洞，洞中金光閃閃，一個美貌的女子端坐在金磨前，一匹高大的金馬拉磨，磨著金豆子。範老財頓時來了精神，不顧一切拼命向山洞奔去。衝進洞裡伸手去拉那匹金馬。這時一聲巨響，山動地搖，一塊巨大的石頭從天而降，堵住洞口。從此，人們再也沒見到範老財。