皇十三子胤祥生於康熙二十五年,胤祥小胤禛八歲,他倆雖非同母所生,但他們兄弟倆表現出兄弟手足情深,雍正帝在怡親王胤祥過世後寫了大量懷念乃弟的上諭及祭文,其中多處提到,他與胤祥自幼感情就很深,比如:“憶昔幼齡,趨侍庭闈,晨夕聚處。比長,遵奉皇考之命,授弟算學,日事討論。每歲塞外扈從,形影相依。賢弟克盡恭兄之道,朕兄深篤友弟之情,天倫至樂,宛如昨日事也。(摘錄:《世宗憲皇帝御制文集》卷二十 第22、23行)
他們兄弟倆從小侍奉康熙,朝夕相處,彼此親近。稍長,胤禛奉康熙帝之命教導胤祥算學,日事討論。每逢塞外扈從,兄弟倆形影相依。
和碩怡賢親王遺稿題辭
朕弟怡賢親王,天資高卓,穎悟絕倫。如禮樂射禦書數之屬,一經肄習,無不精妙入神,為人所莫及。而其心則謙抑遜讓,欿然不自足也。平日所作詩篇,抒寫性情,和平大雅,無纖毫塵腐之氣。而王自謙學力不充,總未存稿。是以王仙逝後,邸中竟無留存者。因憶昔年,兄弟聚首時,宴集唱和,王每以所作就正於朕。朕扈從塞垣,王亦間有寄懷之句,片楮寸縑,朕皆愛而藏之,不令棄置。今檢點篋笥中,得王詩三十二首,爰匯為一帙,附於朕詩集之後,以存其囗。此在王雖為餘事,然自古名臣碩彥,偶有吟詠著述,即殘篇剩簡,而當時後世之人鹹寶重愛惜,流傳歌誦,想慕其為人。初不在篇什之繁富,所謂詩以人重也。王以不世出之名賢而有此清新俊逸之詞翰,且忠孝慈惠之意,藹然流露於筆墨間,吉光片羽,豈惟朕心不忍湮沒?諒亦天下後世所共珍歟!(摘錄:中國哲學書電子化計劃錄:《世宗憲皇帝御制文集》卷十一 第32行)
眾兄弟集會賦詩,胤祥常把自己的詩作向胤禛請教。後來胤祥因廢太子一案受牽連失寵,康熙帝來那樣每次出巡都帶上胤祥。有時胤禛單獨扈從,胤祥便以詩相贈。胤禛為之收藏,得王詩三十二首,編為一帙。一直保存在身邊,後來雍正把這三十二首詩收在自己的詩集後面,“以傳永久”。雍正帝繼位後將允祥倚重為心腹,是以他們兄弟倆青少年時代結下的情誼為基礎。