今天標題黨了一次,但這是最近身為IT公司小小研究員的吶喊,這幾年所謂的機器學習/人工智慧進展得特別快Norika所在的公司,身為科技公司,當然也想要搭上這個浪潮,想做出各種的產品,還有發展各種的服務。
但是現在短短幾年之內光是一個大規模語言模型LLM),光是需要訓練還有調整的參數就已經從幾年前的幾個參數->十幾個參數->到現在幾億個參數,進入了拼經費拼運算能量的“軍備競賽”時期。跟十年前自己坐在電腦前面開發一下新的模型,想想新的算法的時代已經不太一樣。
前陣子部門業務的委託請我找一個演算法的解決方式,來解決當前的難題,我提出了兩三種方式,使用機器學習的方式而非深度學習,先寫了使用說明的文件,此時一個公司大佬就輕飄飄的說了一句,
現在不是用LLM或是深度學習的話,已經沒有人想看了
嗯～深度學習的好我也知道但現實就是除非要處理的問題規模很大不然不一定能收穫預想的結果。簡單的說就是一個單純的問題用複雜的方法不一定得到好的效果。語言模型也是 chatgpt是很不錯,我自己也經常利用,但是如果說要自己公司做一個chatgpt那就是另外的問題了,模型有了方法有了問題是我們沒有那麼多預算可以自己訓練
這不就像是愛馬仕的好我想大家都知道,如果可以免費擁有我想大家都不會拒絕,
但現實就是很殘酷,他有一定的價位還有購買方式,大多數的情況可遠觀不可褻玩焉
只好從頭開始講解如同講解如何買到一個柏金包一樣,首先我們要跟銷售的櫃員培養感情
買一些額外的商品,然後進入了候選名單排隊,最後得到這個包,從頭到尾可能要搏感情還要付出不少的金錢一樣。
自己做一個大規模模型也是一樣,首先我們要先了解這個模型知道如何運作,再來投入夠多的工程師編寫模型,再來一樣投入大量的金錢訓練這個模型讓他可以達成我們預期想要的效果,不跟買愛馬仕一樣困難嗎?
如果我們是產值幾千億的公司,投入做這件事情或許是對未來的投資,但依照公司的規模
雖然在日本是大型公司,但完全不是世界規模的公司,很多問題其實用“一般”的機器學習手法完全都能夠處理和對應
殺一隻小蝦米,可能不需要動用到庖刀
但是大佬們可能會不開心,大佬開心-無價
但底層小研究員只想說,愛馬仕是我不想擁有嗎,絕對不是,半隻腳踏進去後才知道配貨世界深似海。
大規模語言模型也是,吸金能力真的是超乎想像
或許哪天幹到了技術長後,我的想法也變了也說不定,但在這之前先幹到技術長吧
