故事的主人公叫冉阿讓，僅因為飢餓偷了一塊麵包而判刑。在獄中，他悲痛欲絕，屢次越獄，以致罪刑加重，被判十九年的苦役。冉阿讓越來越仇恨法律。獲釋後，冉阿讓四處碰壁，受盡了別人的鄙視，四處流浪，開始仇恨社會。
這時，一個名叫卞福汝的主教大人的善良感化了他，冉阿讓從此洗心革面，脫胎換骨，化名為馬德蘭，創辦了一家黑玻璃生產工廠，並被國王提拔成這座城市的市長，市民們也非常愛戴他。
善良的芳汀被別人誘騙生下了一個女兒珂賽特。無奈之下，她不得不把女兒寄養在一個旅店的老闆家，可老闆趁機敲詐。芳汀大病一場，死在醫院裡。馬德蘭先生捨己為人，收養了芳汀的女兒。
警察們正在追捕失蹤多年的冉阿讓，卻抓到了和馬德蘭先生很像的工人，認為這個人就是冉阿讓，並準備判刑。為了拯救這個無辜的工人，真正的冉阿讓主動承認了自己真實的身份。警察再一次將冉阿讓送進了監獄，可冉阿讓為了芳汀的孩子，再一次折斷窗戶的鐵條逃了出來，尋找珂賽特。終於，冉阿讓將珂賽特從德娜娣夫婦磨爪之下救了出來，實現了對芳汀當初的承諾。並以父女的身份進入了一所修道院躲避警察的追捕。在跟蹤的過程中，沙威警察被冉阿讓不畏艱難勇往直前的精神打動，由於無法違背自己多年堅持的信念，跳河自殺了。
過了許多年，珂賽特長成了一個美麗的大姑娘，並和一個叫馬呂斯的人相愛。
1832年，巴黎戰亂，馬呂斯身負重傷，冉阿讓和他一起從地下管道逃命。可冉阿讓向馬呂斯坦白了事實以後，馬呂斯心如亂麻，竟不讓冉阿讓見珂賽特。這樣，冉阿讓徹底失去了他親手撫養的珂賽特，悲傷和難過成為了他生活的全部。
當馬呂斯得知救他的人是冉阿讓，馬德蘭先生也是冉阿讓。有感激，更有敬佩。
冉阿讓一生為他人著想。就這樣，他的靈魂在悲慘的世界中升入了天堂。