改良大型語言模型
#改良大型語言模型含有「改良大型語言模型」共 2 篇內容
全部內容
發佈日期由新至舊
NEJM AI刊登重磅研究，大型語言模型在腫瘤知識上的效能驗證。這篇研究探討了不同醫學主題中，大型語言模型對於知識的性能差異，特別是針對腫瘤學領域的幾種主流LLMs進行評估。研究表明，大型語言模型在基礎主題上展示出比臨床腫瘤學更高的準確性，但模型仍具有一定程度的不準確性。研究結果為醫療專業人員和患者更有效地利用LLMs提供了實證支持。
2024-04-28
8
讓Mistral 7B搞定長序列128K (e.g.雜誌)，使用YaRN插值改良手法本篇精選熱點論文，基於ROPE(Rotary Position Embeddings)改善插值方式，讓模型可以在短序列(4K Tokens)進行訓練，接著在長序列(128K Tokens)僅做少數微調，甚至無須微調，就能達到泛化到極長輸入序列的能力，模型可以吞下一整本雜誌，輸出困惑度表現也能夠維持!
發佈在
無限智慧學院的沙龍
2023-11-08
12