皇十三子胤祥生於康熙二十五年，胤祥小胤禛八歲，他倆雖非同母所生，但他們兄弟倆表現出兄弟手足情深，雍正帝在怡親王胤祥過世後寫了大量懷念乃弟的上諭及祭文，其中多處提到，他與胤祥自幼感情就很深，比如：“憶昔幼齡，趨侍庭闈，晨夕聚處。比長，遵奉皇考之命，授弟算學，日事討論。每歲塞外扈從，形影相依。賢弟克盡恭兄之道，朕兄深篤友弟之情，天倫至樂，宛如昨日事也。(摘錄:《世宗憲皇帝御制文集》卷二十 第22、23行)
他們兄弟倆從小侍奉康熙，朝夕相處，彼此親近。稍長，胤禛奉康熙帝之命教導胤祥算學，日事討論。每逢塞外扈從，兄弟倆形影相依。
和碩怡賢親王遺稿題辭朕弟怡賢親王，天資高卓，穎悟絕倫。如禮樂射禦書數之屬，一經肄習，無不精妙入神，為人所莫及。而其心則謙抑遜讓，欿然不自足也。平日所作詩篇，抒寫性情，和平大雅，無纖毫塵腐之氣。而王自謙學力不充，總未存稿。是以王仙逝後，邸中竟無留存者。因憶昔年，兄弟聚首時，宴集唱和，王每以所作就正於朕。朕扈從塞垣，王亦間有寄懷之句，片楮寸縑，朕皆愛而藏之，不令棄置。今檢點篋笥中，得王詩三十二首，爰匯為一帙，附於朕詩集之後，以存其囗。此在王雖為餘事，然自古名臣碩彥，偶有吟詠著述，即殘篇剩簡，而當時後世之人鹹寶重愛惜，流傳歌誦，想慕其為人。初不在篇什之繁富，所謂詩以人重也。王以不世出之名賢而有此清新俊逸之詞翰，且忠孝慈惠之意，藹然流露於筆墨間，吉光片羽，豈惟朕心不忍湮沒？諒亦天下後世所共珍歟！(摘錄:中國哲學書電子化計劃錄:《世宗憲皇帝御制文集》卷十一 第32行)
眾兄弟集會賦詩，胤祥常把自己的詩作向胤禛請教。後來胤祥因廢太子一案受牽連失寵，康熙帝來那樣每次出巡都帶上胤祥。有時胤禛單獨扈從，胤祥便以詩相贈。胤禛為之收藏，得王詩三十二首，編為一帙。一直保存在身邊，後來雍正把這三十二首詩收在自己的詩集後面，“以傳永久”。雍正帝繼位後將允祥倚重為心腹，是以他們兄弟倆青少年時代結下的情誼為基礎。
