康熙四十七年九月初四日，太子胤礽第一次被廢時，胤祥一同也被牽連，而康熙帝在痛斥太子的滿文上諭中，同時也提到了對他太子核心黨羽的處置辦法，說：“現其（允礽）黨羽內，雜搜資訊及畏威而附和者亦多，皆從寬不究，此外，索額圖之子格爾芬、阿爾吉善及二格、蘇爾特、哈什太，皆著立行正法，富爾敦，著交予其父馬齊，拴九條鐵索，於家中圈禁。十三阿哥，朕另有處置。”
(摘錄: 鄭小悠; 橘玄雅; 夏天. 九王奪嫡. 山西人民出版社. 2021-04.引用 雅爾江阿等滿文奏摺，康熙朝（無具時），中國第一歷史檔案館藏。)
由雅爾江阿等滿文奏摺可知胤祥是胤礽太子黨的核心成員，但因被康熙帝懷疑參與太子謀劃的某些惡行，但證據不足之類的原因，而需要“另外處置”。
同年九月十八日，內務府向康熙帝詢問要如何處置皇太子處包衣大、飯茶上人，以及十三阿哥處飯茶上人時，得旨：「將包衣大、飯茶上人均行退去，交給他們各自的佐領、管領當差行走」(摘錄: 鄭小悠; 橘玄雅; 夏天. 九王奪嫡. 山西人民出版社. 2021-04.引用內務府《奏銷檔》，康熙四十七年九月十八日條，中國第一歷史檔案館藏) 康熙帝廢太子之後，在九月十八日胤祥和廢太子允礽一樣，都被剝奪了隨身侍從人員。
而太子允礽之所以被廢,歸納主要原因有四大因素:
第一點 皇帝的君權和太子儲君權力相互衝突到劍拔弩張的地步，如之前的索額圖結黨謀逆事件。
第二點 太子允礽品德行為不良，讓康熙帝感到日益越增厭惡。
第三點 皇十八子允祄病危一事，在允祄病危時,康熙帝感到擔心焦慮，然而太子允礽卻對皇十八子幼弟生死毫不關心，最後使得康熙帝對太子允礽的憤怒不滿情緒達到臨界點。
第四點 『帳殿夜警』太子允礽在晚上偷跑到康熙帝營帳外,從營帳的裂縫窺看康熙帝,被康熙帝認為心懷叵測 『帳殿夜警』一事為壓跨太子允礽的最後一根稻草，使太子被廢。
『帳殿夜警』一詞文獻紀錄出自於《李文貞公(光地)年譜》的康熙47年中有文如下: 時口外回鸞 於道 帳殿夜警 傳聞汹汹同僚或問公曰 事將奈何？ 。公曰： 吾與公未親扈從 莫與見聞。而事起昏夜，真偽莫辨，上既天保鞏固，惟有益廣聖心，徐核其實，使蔽厥辜，毋傷天性之恩，以塞萬世之議而已。(摘錄: 《李文貞公(光地)年譜》近代中國史料叢刊第63輯 沈雲龍 主編 第193頁)
由以上推測胤祥為胤礽太子黨成員，而胤祥很可能包庇或參與太子的惡行，才會造成康熙帝圈禁皇十三子胤祥一事。
而胤禛即帝位後在一篇上諭中說，“怡親王前因二阿哥之事，無辜牽連，一時得罪皇考，隨即鑒宥。”(摘錄:《雍正朝起居注》雍正元年十一月二十五日條，第139頁，中華書局，1993年版。)
由此可見，胤祥被陷害無辜牽連的可能性很大。但目前史學家沒人能說清在康熙四十七年，胤祥與康熙之間到底發生了什麼，因為所有相關的史料都是空白的。而雍正即位後超規格提拔胤祥封鐵帽子王世襲罔替，追封胤祥生母，胤祥死後安葬於超越清朝親王規格的陵墓，怡親王墓佔地面積約600畝規模浩大，在清朝親王墓裡唯一有望柱華表，華表上刻有五爪金龍，且有三華里的神道，雍正的所作所為，足以證明是為感恩胤祥對自己的付出和忠誠。所以史學家普遍推測，不利於胤祥的記載資料，有可能都被雍正刪除殆盡了。現今我們只能從少數的邊邊角角的史料中，一點點拼湊出胤祥在康熙朝末年的生活情況。
