故事描述為主人家奉獻60多年的幫傭鍾春桃在中風之後，和第四代少爺Roger之間展開的情誼。又以桃姐和Roger的關係為中心的故事架構下，從安養院帶出社會上的眾生百態。
1.校長的水晶球。失控的校長看著水晶音樂球後便會平靜下來，甚至露出微笑，那裡面似乎有什麼東西能夠讓他獲得平靜，但電影中卻沒有給出他的故事，似乎有沒有寫足寫透都無所謂了。世界上那麼多人，那麼多故事，自己的生活都自顧不暇了，怎麼有時間去關懷其他人的浪漫回憶呢?我們沒有那麼多時間，也沒有那麼多興趣知道，我們都是自私的人。大多數人對我們而言不過是景深之外的臉孔。
２.堅叔。大概是個寂寞的人，很懂得及時行樂，也許是透過遊戲人間來填補內心的空虛。前面他找大家一起去老人婚姻介紹所，「花錢買個希望嘛。」他說。後來三番兩次向桃姐和Roger借錢去買春，電影的尾聲，他又來借錢，被Ｒｏｇｅｒ大聲斥責，桃姐將他喚了回來，對Ｒｏｇｅｒ說，「讓他去吧，他還能去多久呢？」這話像在說堅叔，也像在說自己。
3.梅姑。一個中年女子，出場時桃姐本以為她是來看媽媽，沒想到原來是媽媽來看她，才知道她需要長期洗腎，住院方便些。突然想到現代人身上沒有一些病，也許才是不正常吧。桃姐對她說「我中風啊。」梅姑點點頭，兩人相視無語，又把頭低下。
鏡頭之下彷彿默訴著一種生命遭遇病痛的無奈，還有同是天涯患病人的相知相惜。對別人說出自己的疾病，真的是非常勇敢的一件事，我大概做不到吧。
4.金姨是位偏心的母親，將房產給了兒子，卻遭到無情拋棄，女兒對她說「兒子你當寶，我你就當草」，處處可以見到她對母親的埋怨。只要Roger帶桃姐出去，他們身後總是跟著金姨羨慕的眼神。大家以後當父母千萬別偏心，不然小孩會很辛苦，然後家庭也會很悲傷。
5.蔡女士，安養中心的主任。蠻有感覺的一幕是過年時，安養院裡沒什麼人，她和桃姐坐在一起看著電視機裡頭播放的煙火。「那你的家人呢？」桃姐問。她沒有回答，往後躺在沙發上。此時從銀色的Ｐａｎａｓｏｎｉｃ裡傳來煙火的聲音，外頭的喧囂和空蕩蕩的療養院彷彿是兩個世界。看來也是個生病的人。
這些人的故事，都被收在桃姐的眼裡。而桃姐的際遇和這些人相比算是幸運許多，為一個毫無血緣關係的家庭奉獻60多年，在生命的最後2年，能和Roger發展出超越主僕之間的情誼，也算是一報還一報吧。兩人之間的互動非常溫暖可愛，可愛到讓人覺得如果生逢有時，他們也許會變成一對戀人也說不定。
行動不便的中年男子阿標整天坐在門口，每當畫面帶到門口時，總會看到他坐在那裡，或許他才是將所有人的故事盡收眼底的人，他看著桃姐走著進來，躺著出去。 也許他根本沒在看，他就只是坐在那裡，有時候他甚至會睡著。什麼樣的人能將所有人的故事盡收眼底呢？除了觀眾之外，就只有上帝吧。這真的很難不讓人聯想到《大亨小傳》裡的那個藍眼睛黃眼鏡的巨大廣告牌。
面對睡著的上帝，世界會發生什麼事呢？
電影的最後３０分鐘，幸福的日常神話再次打破，這日常好短好短。金姨驟逝，梅姑轉院，生離死別瞬間來到，不變的是堅叔仍舊在借錢，桃姐則是去了她應該去的地方。
在金姨死後，女兒這才卸下心防，痛聲大哭。我們總是在還能挽回的時候，傷害我們愛的人，總要等到失去了，才感到後悔。但那時的我們又有什麼辦法呢?那時放不下的，就是放不下，勉強不來。他傷我太深，我以為我恨他，殊不知我是那麼愛他。
所以還是套兩句宮二說的吧「人生若無悔，那該多無趣啊。」／「就讓你我的恩怨，像盤棋一樣保留在那，你多保重。」嗯對，如果在還有選擇的時刻勉強不來，也許就只能帶著懊悔的記憶自己多保重了，要有這個心理準備才行。但如果你準備好了，就又是一種無悔了，那該多無趣。
這個時候的畫面很有趣，左邊的畫面有人在下象棋，有人在笑，右邊是女兒在哭。在他們身後，桃姐默默注視著這一切，此時的她不帶任何表情，眼神就像看透一切似的。 而這時候，像上帝的阿標不在平常的位置上，而是坐在一個剛好可以將女兒和桃姐盡收眼底的位置。
相見時難別亦難，東風無力百花殘。
春蠶到死絲方盡，蠟炬成灰淚始乾。
曉鏡但愁雲鬢改，夜吟應覺月光寒。
蓬萊此去無多路，青鳥殷勤爲探看。
─《無題》李商隱
下一幕，梅姑因為設備的關係轉了院，甚至沒來的及和桃姐道別。電影最後這首無題詩由老校長吟出，有貫穿整個故事，收束結尾的作用。李商隱的「別難」的確是刻骨銘心，頷聯更是寫出用盡一生思念的苦澀，讓人想到齊邦媛和張大飛的最後那一面（詳情請洽巨流河），但桃姐和梅姑卻是連別都沒有，就不曾再見過。宮二說「人世間所有的相遇都是久別重逢」（宮二真是人生辭典）既然有緣在這個世界相遇，那就好好珍惜每一個聚首的當下吧，因為你永遠不知道眼前這個人或是自己會不會在下一秒就被車撞到。
