話說，漁人回到郡城後，就向太守說了桃花源的奇事。太守聽後，十分高興，想把這塊寶地據為己有，便派人跟著漁人前去，自己則坐在小船上慢悠悠的隨道前往，他主要是怕有埋伏，先讓他們探路。
到達桃花源後，太守的爪牙們便揮舞著兵器，趕走坐在樹下休息的老人和孩童，村裡的健壯男子，看見後拿起木製工具，一哄而上，把太守的人圍了起來。誰都沒注意，一旁的漁人悄悄的靠近了一個孩童，以迅雷不及掩耳之勢，抓住了孩童後，便要挾桃花源人住手：“我們是太守的人，你們和我們作對，就是和太守作對，是沒好果子吃的。”桃花源人看見後，滿腔怒氣，但又無可奈何，只能放下手中的木製工具，太守的人趁機用繩子把桃花源人綁了起來。桃花源人個個怒氣沖天，罵漁人太狡猾，當初就不該好心邀請他……此時的漁人完全不在意桃花源人的罵詞，一心只想著太守答應給他的報酬，他的後半生不用在打漁了，想到這裡，漁人便大聲笑了起來。
不久，太守便到了。看到桃花源人被綁了起來，自然是很高興，想到這個地方以後便是他的了，就更高興了。忽然太守轉念一想，萬一漁人又把這裡告訴了別人，那這……太守想到這裡，臉頓時黑了起來。隨即，便下令，命人把漁人的眼球挖了出來，漁人痛苦的在地上滾來滾去，不久便昏死了過去。
太守看到昏死過去的漁人，心中的憂慮，便慢慢消退了。於是便高興地命人把先前來時摘下的桃子拿了過來。本來這個時節是沒有桃子的，但太守一想，這裡是世外桃源，如同仙境一般，所以有桃子也不為奇怪。桃花源人看到太守他們在吃桃子，先是大驚，後又變得高興了起來。原來這桃子有使人昏睡三天三夜的效果，果真，太守他們吃後，個個都倒在地上，睡起了大覺。
這時，一位身著白衣，如同仙子一般的男子，腳踏桃花飄了過來，他是劉子驥，早在太守來之前，他就已經跟隨漁人一行來到了這裡，並躲在樹上，親眼目睹了太守他們的所作所為，但他深知，自己不能出來幫忙，因為對方人多，自己卻只有一人，雖說打起來，自己能夠脫身，但這樣一來太守肯定會加強防範，這樣他們被救出的希望就更加渺茫了。因此，當他看到眼前此景時，便飛快地出現，幫桃花源人把繩子解開了，桃花源人非常感謝。之後，桃花源人便把太守他們一行人暴打一頓，送到船上。而漁人，他雖違反了約定，但他也因此受到懲罰。於是便讓他留在了桃花源。因為桃花源人祖上有家訓，不得出桃花源，於是他們只好拜託白衣男子幫他們把他們送走，還約定，等他再來時，定當好好報答他……誰知，這一別便是永別！
話說，三天三夜後，太守他們醒來，便到處說：桃花源有妖怪，原來太守他們錯把桃花源人當作妖怪，在打他們……
此後，也有人嚮往桃花源，但都沒有再找到去路。白衣男子最終也沒能去赴約，病逝在途中。桃花源人世世代代在等候著他，希望有朝一日可以報答他。