原來這就是模型fine tuning
嘿嘿.....
重要的是整理出資料集阿...

贊助珍奶

重生,因為CPAP

模型微調


copilot 分析後的結論 :- Base 在中文語境與跨語言檢索上最穩定，能兼顧聚合與區分。- Large 未量化 在英文近義詞判斷最強，適合精細的語意區分。- Small int8 在資源消耗最低的情況下，仍能保持合理的相似度分布，適合快速部署與迭代。- BGE-M3 在中文語境下聚合力極強，但過度聚合導致失去區分度，不適合需要精準分類的場景。 一開始測試的時候,我還以為中國模型比較厲害其實從數據看起來,就這個情境來看E5表現好太多了但如果真的要商用還是得微調從這些數字看起來模型也不是越大就越厲害坦白說..我也不會..哈.....昨天看到hugging face 的課程好像有一堂就是談fine tune摸索中....

模型比較

這幾天跟peplexiy及gemini測這個部分但我實在是受不了peplexity了昨天開始就用gemini來處理與gemini對話內訊息量之大我還得翻閱一遍消化消化....最後是用copilot來幫我整理資料因為gemini用來看對話內容在資訊業這麼多年對"師傅"這兩個字是嗤之以鼻但我現在只能說"AI師傅，您辛苦了"(瘋了...跟機器人說辛苦了,嘿嘿..幫您上個油..哈哈哈哈..大笑)明天預計跟師父討論怎麼做微調哈...現在沒AI,根本沒辦法做事,好嗎 ?真是糟糕阿...

我根本就是data engineer

快20年了唸MBA的時侯怎麼教的？股票是看你是否信任經理人...要研究財報等等...真是鬼話連篇我們就是看你應該不會倒觀察股價的起伏區間低價就買，到達投報就賣買高了，我們就趁它跌的時侯分批進場攤平我們上班族，怎麼跟你在那邊隨時盯盤一年進出個幾次就差不多了賭個便當錢而已小賭宜情那會真拿這個致富或當退休金喔？又不是白痴老天難不成平白送錢給你你敢拿的話就得付出代價

股票像在賭大小

昨天申請的,大方到我都嚇到了反正可以測一年慢慢研究

credit 給的超大方

去年過完年就買了，一直沒安裝，看到要拉線我就覺得累，就拖到了這禮拜日，就想說不管了，到車上看線路再說，拉開邊條，看看線，才發覺我幹嘛照著原有的線路去鑽那個縫，直接把它抽掉，然後把線隱藏在擋風玻璃上面的塑膠板裡面就好了.前兩年元氣大傷，什麼都懶得動，新工作也不好應付。

行車記錄器

我們自己磨技術,測著玩.....自己產的測試資料當然是比現實的乾淨,到時候還得做一堆前處理, 還得考慮token 限制可能產生失真的問題,再說吧!! 至少先熟悉相關的技術領域....好笑的是,我自己測到程式碼都亂掉, 想說...怎麼function 建立不起來....insert select 只是因為欄位不match 出錯,我還是看成式碼.....搞到自己一陣混亂

E5-Small INT8 ONNX 10,000 Rows

還好我昨晚就設定了要拋的數字一早就賣掉了扣掉交易成本投報率勉勉強強1月20買在最高點心裡多幹啊逐步攤提先跑再說感謝給的靈感

手續費與交易稅不容小覷

當我用small int8 的vector來測試consine simiarity時,看到資料呈現,我差點吐血 source_id | original_text | similarity -----------+---------------------------------------------------------+------------------- 1 | 台灣的半導體產業舉足輕重 | 1 3 | 生成式 AI 正在改變軟體開發流程 | 0.92828518848634 5 | 向量資料庫可用於語意搜尋與 RAG 系統 | 0.919155382805187 6 | 你知道我在等你媽 | 0.917081397725679 7 | 天地君親師 | 0.915928045820945 2 | Vertica is a columnar analytical database | 0.876261310068096 4 | Multilingual embeddings support cross-lingual retrieval | 0.869475130383749 後來我一路從small int8 -&gt; small -&gt; base int8 -&gt; base -&gt;large int8 -&gt;large -&gt;最後回到了small int8 再加了一些東西 , 坦白說,我覺得是資料內容的問題, source_id | original_text | similarity -----------+---------------------------------------------------------+------------------- 11 | Agent automates process | 1 3 | 生成式 AI 正在改變軟體開發流程 | 0.933565728593556 14 | dot product | 0.917715256113278 13 | consine similarity | 0.916973660632944 12 | vector search | 0.916443645357875 15 | L2 | 0.912341955412896 8 | 程式設計師失業 | 0.905010159168169 10 | TSMC | 0.904073772722124 5 | 向量資料庫可用於語意搜尋與 RAG 系統 | 0.902930570376776 2 | Vertica is a columnar analytical database | 0.902316084183552 9 | 一人公司 | 0.896786413123839 4 | Multilingual embeddings support cross-lingual retrieval | 0.895653219449955 1 | 台灣的半導體產業舉足輕重 | 0.889161868371196 16 | 向量資料庫 | 0.887021112308544 7 | 天地君親師 | 0.886359233897244 6 | 你知道我在等你媽 | 0.869991297567662 最後發覺, 原來tokenizer 及 dimesion 也要改....我就想說,E5有表現這麼差嗎 ? source_id | original_text | similarity -----------+---------------------------------------------------------+------------------- 5 | 向量資料庫可用於語意搜尋與 RAG 系統 | 1 1 | 台灣的半導體產業舉足輕重 | 0.877140785189382 4 | Multilingual embeddings support cross-lingual retrieval | 0.872230208776058 3 | 生成式 AI 正在改變軟體開發流程 | 0.870977866871617 2 | Vertica is a columnar analytical database | 0.853784699525426 7 | 天地君親師 | 0.842314695464149 6 | 你知道我在等你媽 | 0.836804134052917 (7 rows)

好笑的語意測試

這個標的，沒讓我賠過錢，大概就是抓10%的停利點，再往上飆，也不去理會，錢先落袋為安，哈哈...也是沒太多閒錢，等另一檔吧！2/5到今天，比定存及保險好太多了。

重度AI 使用者

重度AI 使用者