奢華與平價教材一起拿來學，C-RLFT，Openchat's tricks for finetune

Starling-LM-7B近來火燙，有使用到本篇的C-RLFT技術，基於此基礎上可以把7B小模型的微調成績做到頂尖，一起來理解OpenChat 的 C-RLFT技術是如何實現的，所能產生的效果為何，以及探索為何能達到這樣好的成績。

論文主要貢獻:

GPT-4回答素質明顯比GPT-3.5來得高，如下圖所示，但是GPT-4的時間與運算成本比GPT-3.5高出不少，同樣的成本與時間花下去，能取得的教材數量懸殊。有沒有辦法充分運用不同等級的教材，讓Model能取得更佳的學習成果，且不會被品質較差的教材拖累學習表現?

GPT-4 的對話品質分布比GPT-3.5好很多

本篇提出這個問題的解法，將GPT-3.5 / GPT-4 訓練資料做條件強化學習(C-RL