透過Python分析線上學習討論區文本-找出熱門文章
閱讀時間約 2 分鐘
大家好，今天要介紹的是簡單的文本分析，主要內容會包含處理html標籤、jieba斷詞、TF-IDF轉換與Logistic Regression和svm，其實最繁瑣的功夫都下在了資料的預處理上，剩下的部分都是找演算法，交給電腦放肆奔跑的過程了。
這次採用資料集是鏗鏗老師的學會學課程，抓取了2017~2021中課程各章節的討論區資料，保留了2021其中一個學期的資料做為Validation set，先給各位看一下目前的資料狀態。
發現message中的資料長得很醜，裡面有很多透過爬蟲取得的html標籤，待會會將文本進行處理，我們先將是否為熱門文章的標籤新增上去。
經過簡單計算發現瀏覽數的平均數為34，標準差44；留言數平均數則是0.4，標準差為0.99，我選擇了大於平均值兩倍標準差做為熱門文章的根據，插入[hit]欄位並根據上述方式訂下標籤內容。
透過上述程式碼可以輕鬆的移除html標籤，也可在程式碼內部增加、移除或置換其他符號內容。下一步便是進行斷詞過程。
上面的程式碼不只有斷詞，一開始還有進行除去停止詞的動作，可以在與專案檔案同個目錄中的資料夾新增stopWord.txt的檔案，並在檔案內用分行的方式新增停止詞如：我、妳、他、在、不、Youtube等等，在迴圈中會自動將這些字詞移除，透過上述資料處理的過程，我們得出最後的資料型態如下
接著透過TF-IDF將文本內容轉換為字頻數值，並分別透過羅吉斯迴歸與SVM建立模型並預測測試集資料是否為熱門文章。
結論，發現兩種演算法預測準確度都超過90%(灑花)，但其實仔細查看資料會發現，絕大部的資料都是不會成為熱門文章的，即使電腦全都預測成非熱門文章，也會有(1288-97)(全部資料-熱門文章資料)/1288(全部資料)=92%的準確度，又遇到了資料不平衡的問題，而關於文本的oversampling也有許多辦法，未來文章也會提及相關作法。
喜歡這些內容麻煩幫我按讚，也可分享出去給更多人知道，學海無涯，這些只是一點點小知識，希望大家會喜歡！
4會員
8內容數
本專題將以Python程式語言來實作資料結構，依序從陣列(Array)、堆疊(Stack)、佇列(Queue)、樹(Tree)到圖(Graph)，透過不同方式來建立資料結構，並討論部分細節如：建構難度、記憶體空間、效率等等。
留言0
查看全部
你可能也想看
Google News 追蹤
這個秋，Chill 嗨嗨！穿搭美美去賞楓，裝備款款去露營⋯⋯你的秋天怎麼過？秋日 To Do List 等你分享！
秋季全站徵文，我們準備了五個創作主題，參賽還有機會獲得「火烤兩用鍋」，一起來看看如何參加吧～
美國總統大選只剩下三天， 我們觀察一整週民調與金融市場的變化（包含賭局）， 到本週五下午3:00前為止， 誰是美國總統幾乎大概可以猜到60-70%的機率， 本篇文章就是以大選結局為主軸來討論近期甚至到未來四年美股可能的改變
Faker昨天真的太扯了，中國主播王多多點評的話更是精妙，分享給各位
王多多的點評
「Faker是我們的處境，他是LPL永遠繞不開的一個人和話題，所以我們特別渴望在決賽跟他相遇，去直面我們的處境。
我們曾經稱他為最高的山，最長的河，以為山海就是盡頭，可是Faker用他28歲的年齡...
這篇文章記錄「與情緒溫柔相處工作坊」中習得的轉化情緒方法。作者分享了自己的心得，並對情緒背後的正向意圖，結合個人情感與成長啟示，提出深度思考。並紀錄如何利用 NLP 基礎技巧來調整大腦裡的素材元素，以及如何運用逐步抽離法改善對負面情緒的影響。
上一次我們談到了目標設定和人們對於執行力的選擇
今天我們則是要來聊聊，當你為自己設定了一個目標之後，可以透過什麼樣的方式去執行、面對壓力後該如何去思考學習、並且更專注於個人的目標上～
（圖片來源：https://www.dreamstime.com/freedom-word-writ
你的思想自由嗎？你的想法清晰嗎？
你的目標是什麼？你會為了達成目標做什麼樣的努力呢？
如果你是一個會為自己設定目標的人，那你是一個會努力達成自己計劃的人嗎？或是你發現自己時常會半途而廢呢？
我們的目標不應該只是一長串的待辦事項，而是讓生活上更有動力的來源。
專題式學習是一種有益於幼兒成長的教學方式，通過引發問題、實際參與和統整學習內容，幫助孩子建立持久和有影響力的學習。本文探討了專題式學習的特點和如何幫助孩子進行問題驅動的學習。
在計算數字時我們要先搞懂運算符號代表的涵義，Python裡面的符號跟我們認知的不會有太大的差別，但是有一些代表不一樣的意思，就必須搞懂才不會在寫程式時，程式碼的重複性太高，會導致日後的維修性降低。
常常會遇到好不容易寫好程式，但是輸出的時候沒辦法按照自己想要的格式，或是間隔來輸出，這時需要用到的就是格式化輸出，格式化輸出就是調整排版的一個形式。
一、什麼是變數?
變數是指用來代表某一種資料型態的符號，以非數字的符號來表達，可以是英文字母也可以是一個英文單字，不過python有一些英文字母不能被當作變數，我們稱作保留字，例如:False、None、True、and、is、not、or、......，之後會在介紹。
這個秋，Chill 嗨嗨！穿搭美美去賞楓，裝備款款去露營⋯⋯你的秋天怎麼過？秋日 To Do List 等你分享！
秋季全站徵文，我們準備了五個創作主題，參賽還有機會獲得「火烤兩用鍋」，一起來看看如何參加吧～
美國總統大選只剩下三天， 我們觀察一整週民調與金融市場的變化（包含賭局）， 到本週五下午3:00前為止， 誰是美國總統幾乎大概可以猜到60-70%的機率， 本篇文章就是以大選結局為主軸來討論近期甚至到未來四年美股可能的改變
Faker昨天真的太扯了，中國主播王多多點評的話更是精妙，分享給各位
王多多的點評
「Faker是我們的處境，他是LPL永遠繞不開的一個人和話題，所以我們特別渴望在決賽跟他相遇，去直面我們的處境。
我們曾經稱他為最高的山，最長的河，以為山海就是盡頭，可是Faker用他28歲的年齡...
這篇文章記錄「與情緒溫柔相處工作坊」中習得的轉化情緒方法。作者分享了自己的心得，並對情緒背後的正向意圖，結合個人情感與成長啟示，提出深度思考。並紀錄如何利用 NLP 基礎技巧來調整大腦裡的素材元素，以及如何運用逐步抽離法改善對負面情緒的影響。
上一次我們談到了目標設定和人們對於執行力的選擇
今天我們則是要來聊聊，當你為自己設定了一個目標之後，可以透過什麼樣的方式去執行、面對壓力後該如何去思考學習、並且更專注於個人的目標上～
（圖片來源：https://www.dreamstime.com/freedom-word-writ
你的思想自由嗎？你的想法清晰嗎？
你的目標是什麼？你會為了達成目標做什麼樣的努力呢？
如果你是一個會為自己設定目標的人，那你是一個會努力達成自己計劃的人嗎？或是你發現自己時常會半途而廢呢？
我們的目標不應該只是一長串的待辦事項，而是讓生活上更有動力的來源。
專題式學習是一種有益於幼兒成長的教學方式，通過引發問題、實際參與和統整學習內容，幫助孩子建立持久和有影響力的學習。本文探討了專題式學習的特點和如何幫助孩子進行問題驅動的學習。
在計算數字時我們要先搞懂運算符號代表的涵義，Python裡面的符號跟我們認知的不會有太大的差別，但是有一些代表不一樣的意思，就必須搞懂才不會在寫程式時，程式碼的重複性太高，會導致日後的維修性降低。
常常會遇到好不容易寫好程式，但是輸出的時候沒辦法按照自己想要的格式，或是間隔來輸出，這時需要用到的就是格式化輸出，格式化輸出就是調整排版的一個形式。
一、什麼是變數?
變數是指用來代表某一種資料型態的符號，以非數字的符號來表達，可以是英文字母也可以是一個英文單字，不過python有一些英文字母不能被當作變數，我們稱作保留字，例如:False、None、True、and、is、not、or、......，之後會在介紹。