這次財報上,我關注到了這個陌生的詞,SLM。查了一下,原來是Small Language Model。
我們還持續創新,為客戶提供最好的前沿模型和開源模型、大型語言模型和小型語言模型的選擇。 透過我們在本週早些時候宣布的Phi-3,我們提供了目前市場上最強且成本效益最高的小型語言模型。
微軟在4月23日發布了這個Phi-3系列小語言模型,是市場上功能最強大且成本效益最高的小型語言模型。Phi-3-mini模型擁有38億參數,性能超過其兩倍大小的模型。而,且,重點來了,一般的手機就能跑得動!!
在數學中,Phi(通常表示為φ或Φ)是指黃金比例。可能是因為,太大也不行,成本太高,跑不了。太小也不行,性能不夠。所以這參數量必須要剛剛好!
Phi-3有四個版本,其中Phi-3-Small僅僅只有70億參數,只有GPT-3的1750億參數的4%。但Phi-3的性能竟還能比GPT-3好!