Contrastive Learning(對比學習)是一種機器學習技術,核心思想是通過比較樣本對,學習有效的特徵表示,使得在嵌入空間中,相似的樣本彼此靠近,而不同的樣本則相互遠離。它不依賴於大量標記數據,且廣泛應用於無監督和自監督學習中。
Contrastive Learning 的主要原理:
• Anchor(錨點):基準樣本。• Positive(正樣本):與錨點相似的樣本(如同一個物體或同一類別的圖像)。
• Negative(負樣本):與錨點不相似的樣本。
• 模型學習將錨點與正樣本的距離拉近,並推遠錨點與負樣本的距離。
損失函數:
• InfoNCE、Triplet Loss 等常用於強化這一學習目標,使得模型在學習過程中優化相似度關係。
應用範圍:
• 圖像識別與檢索
• 自然語言處理(詞向量、語句嵌入)
• 多模態學習(視覺-語言對齊)
• 強化學習中的特徵提取
• 生成模型的表示學習
簡單來說,對比學習讓模型學會區分「誰跟誰比較像」,通過對比樣本間的相似和差異來自動提取有意義的特徵,提升模型泛化和表示能力。
總結:
Contrastive Learning 是一種通過對比正負樣本,學習有區分力嵌入表示的技術,是無監督學習和自監督學習中強大且廣泛應用的方法,推動了計算機視覺和自然語言處理等多領域的突破。