改良大型語言模型
含有「改良大型語言模型」共 2 篇內容
全部內容
發佈日期由新至舊
這篇研究探討了不同醫學主題中，大型語言模型對於知識的性能差異，特別是針對腫瘤學領域的幾種主流LLMs進行評估。研究表明，大型語言模型在基礎主題上展示出比臨床腫瘤學更高的準確性，但模型仍具有一定程度的不準確性。研究結果為醫療專業人員和患者更有效地利用LLMs提供了實證支持。
付費限定
本篇精選熱點論文，基於ROPE(Rotary Position Embeddings)改善插值方式，讓模型可以在短序列(4K Tokens)進行訓練，接著在長序列(128K Tokens)僅做少數微調，甚至無須微調，就能達到泛化到極長輸入序列的能力，模型可以吞下一整本雜誌，輸出困惑度表現也能夠維持!
