Continued pre-training 指的是在已有的預訓練模型基礎上，使用新的資料或特定領域的數據，進一步進行訓練以提升模型在該領域或任務上的表現。這種方法常用於大型語言模型或基礎模型（foundation models），讓模型能更好地適應特定應用場景。
主要概念
• 基礎模型（Foundation Model）：先在大規模通用資料上預訓練的模型。• 持續預訓練（Continued Pre-training）：在基礎模型之上，用更專門或最新的資料繼續訓練，但仍保持無監督或自監督學習方式。
• 微調（Fine-tuning）：在持續預訓練後，針對特定任務用標註資料進行有監督訓練。
作用與優點
• 提升領域適應性：讓模型更熟悉特定領域的語言風格、術語和知識。
• 改善模型性能：在特定任務上比直接微調更有效，因為模型先吸收了更多相關背景知識。
• 減少過擬合風險：持續預訓練保持無監督特性，避免過早針對小資料集微調導致過擬合。
舉例
• 在通用語言模型基礎上，用醫療文本資料做持續預訓練，使模型更適合醫療問答。
• 使用最新新聞語料對模型做持續預訓練，提升對近期事件的理解。
與 Amazon 相關
AWS 提供如 SageMaker 等工具支持大規模分散式訓練，方便用戶進行基礎模型的持續預訓練與微調。
簡言之，Continued pre-training 是在已有預訓練模型基礎上，利用新資料進行額外無監督訓練，以提升模型在特定領域或任務的表現。
