用Python爬取PTT熱門新聞做成文字雲

先來看成品長怎樣吧!

會使用到的環境

• Python: 3.7.10
• requests: 抓取網頁
• BeautifulSoup: 分析網頁
• matplotlib: 繪圖並顯示
• wordcloud: 將文字生成文字雲
• jieba: 文字斷詞工具

先從網頁爬蟲開始

第一步觀察網頁

把需要的內容爬取下來

from bs4 import BeautifulSoup
import requests

# 掛上headers模擬使用者讀取網頁的行為 (主要用意是部分網站會有反機器人爬蟲機制)
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36'}

# 目標網站
url = 'https://www.pttweb.cc/hot/news/today'
# 發出 get請求
resp = requests.get(url, headers=headers)
# 網頁編碼
resp.encoding = 'utf-8'
# 透過 美麗的湯 進行網頁解析
soup = BeautifulSoup(resp.text, 'html.parser')
# 找出所有 div區塊中 帶有目標class名的元素
divs = soup.find_all('div', 'e7-right-top-container e7-no-outline-all-descendants')

# 新增個list存取爬下來的內容
articles = []

# 換個網頁爬文章內容
root = 'https://www.ptt.cc'

# 在美麗的湯整理好的 divs中的各個區塊把需要的元素取出
for div in divs:

    # 文章連結
    link = div.find('a')['href']

    # 文章標題
    title = div.find('span', 'e7-show-if-device-is-not-xs').text
    articles.append({

        # 文章標題中的全形空白編碼以空白取代
        'title':title.replace('\u3000', ' '),
        'link':root + link + '.html'
    })

文章留言爬蟲

for article in articles:
    # 從 articles的列表中取出連結 掛上headers (八卦版的cookie中需要加入 over18=1 才能看到內容喔)
    res = requests.get(article['link'], headers = {'cookie': 'over18=1;'})
    # 如果網頁掛掉了就跳過它
    if res.status_code == 404:
        articles.remove(article)

for article in articles:
    res = requests.get(article['link'], headers = {'cookie': 'over18=1;'})
    if res.status_code == 404:
        articles.remove(article)
    else:
        soup = BeautifulSoup(res.text, 'lxml')
        main = soup.find('div', id='main-content')
        main_tag = main.find_all('div', class_='push')
        # 新增一個位置存取文章的推文內容
        comment = []

        for i in main_tag:
            # 如果沒有推文就跳過
            if not i.find('span', 'push-tag'):
                continue
            # 把: 標點符號替換掉    
            push_content = i.find('span', 'push-content').text.replace(': ',"")
            # 推文內容存入
            comment.append(push_content)
    
        article['content'] = comment

開始製作文字雲吧

什麼是文字雲?

製作文字雲

開始coding吧

import jieba
import matplotlib.pyplot as plt
from wordcloud import WordCloud

jieba.set_dictionary('dict.txt.big')

# 抓前十篇熱門新聞製作文字雲
for article in articles[:10]:
    content_text = article['content']
    content_list = " ".join(content_text)
    tfidf_fre = jieba.analyse.extract_tags(content_list, topK=100, withWeight=True, allowPOS=(),withFlag=True)
    
    # 把分析完的詞頻輸出成字典
    count_dic = {}
    for i in range(len(tfidf_fre)):
        count_dic[tfidf_fre[i][0]] = tfidf_fre[i][1]
    # 把字典交給wordcloud做成文字雲
    myWordClode = WordCloud(
                       width=1200, # 圖的寬度
                       height=600,      # 圖的長度
                       background_color="black",  # 背景顏色 預設是白色
                       colormap="Dark2",
                       font_path='SourceHanSansTW-Regular.otf' # 輸出字體 必須將字體的檔案放在同個資料夾下
                        ).fit_words(count_dic)
    # 用PIL顯示文字雲
    plt.figure(figsize=(8, 6), dpi=100) 
    plt.imshow(myWordClode)
    plt.axis("off")
    print(article['title'])
    print(article['link'])
    plt.show()

完整的程式碼在這

from bs4 import BeautifulSoup
import requests
import jieba
import matplotlib.pyplot as plt
from wordcloud import WordCloud
import jieba.analyse as analyse

# 掛上headers模擬使用者讀取網頁的行為 (主要用意是部分網站會有反機器人爬蟲機制)
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36'}

# 目標網站
url = 'https://www.pttweb.cc/hot/news/today'
# 發出 get請求
resp = requests.get(url, headers=headers)
# 網頁編碼
resp.encoding = 'utf-8'
# 透過 美麗的湯 進行網頁解析
soup = BeautifulSoup(resp.text, 'html.parser')
# 找出所有 div區塊中 帶有目標class名的元素
divs = soup.find_all('div', 'e7-right-top-container e7-no-outline-all-descendants')
# 新增個list存取爬下來的內容
articles = []
# 換個網頁爬文章內容
root = 'https://www.ptt.cc'
for div in divs:
    link = div.find('a')['href']
    title = div.find('span', 'e7-show-if-device-is-not-xs').text
    articles.append({
        'title':title.replace('\u3000', ' '),
        'link':root + link + '.html'
    })

for article in articles:
    res = requests.get(article['link'], headers = {'cookie': 'over18=1;'})
    if res.status_code == 404:
        articles.remove(article)
    else:
        soup = BeautifulSoup(res.text, 'lxml')
        main = soup.find('div', id='main-content')
        main_tag = main.find_all('div', class_='push')
        # 新增一個位置存取文章的推文內容
        comment = []

        for i in main_tag:
            # 如果沒有推文就跳過
            if not i.find('span', 'push-tag'):
                continue
            # 把: 標點符號替換掉    
            push_content = i.find('span', 'push-content').text.replace(': ',"")
            # 推文內容存入
            comment.append(push_content)
    
        article['content'] = comment

jieba.set_dictionary('dict.txt.big')

# 抓前十篇熱門新聞製作文字雲
for article in articles[:10]:
    content_text = article['content']
    content_list = " ".join(content_text)
    tfidf_fre = jieba.analyse.extract_tags(content_list, topK=100, withWeight=True, allowPOS=(),withFlag=True)
    
    # 把分析完的詞頻輸出成字典
    count_dic = {}
    for i in range(len(tfidf_fre)):
        count_dic[tfidf_fre[i][0]] = tfidf_fre[i][1]
    # 把字典交給wordcloud做成文字雲
    myWordClode = WordCloud(
                       width=1200, # 圖的寬度
                       height=600,      # 圖的長度
                       background_color="black",  # 背景顏色 預設是白色
                       colormap="Dark2",
                       font_path='SourceHanSansTW-Regular.otf' # 輸出字體 必須將字體的檔案放在同個資料夾下
                        ).fit_words(count_dic)
    # 用PIL顯示文字雲
    plt.figure(figsize=(8, 6), dpi=100) 
    plt.imshow(myWordClode)
    plt.axis("off")
    print(article['title'])
    print(article['link'])
    plt.show()

題外話