從零開始學 AI機器學習

網路爬蟲

Beautiful Soup

pip install beautifulsoup4

pip install requests

pip install lxml

pip install html5lib

基本使用範例

import requests
from bs4 import BeautifulSoup
url = "http://127.0.0.1/py"
response = requests.get(url)
html_doc = response.text
soup = BeautifulSoup(html_doc, 'html.parser')
print(soup.prettify())

import requests
from bs4 import BeautifulSoup
with open('index.htm') as f:
    html_doc = f.read()
    soup = BeautifulSoup(html_doc, 'html.parser')
    print(soup.prettify())

取出字串

print(soup.head.title.string)

找出所有標籤

print(soup.find_all('a'))

取得連結位置或class名稱內容

for link in soup.find_all('a'):
    print(link.get('href'))

使用ID找資料

print(soup.find(id="a1"))

取得所有文字內容

print(soup.get_text())

爬取動態網頁內容

pip install selenium

# coding: utf-8
from bs4 import BeautifulSoup
from selenium import webdriver
import datetime
#交通部氣象局 - 台中市
url = 'https://www.cwb.gov.tw/V8/C/W/OBS_County.html?ID=66'
#啟動模擬瀏覽器
driver = webdriver.Chrome()
#取得網頁
driver.get(url)
#指定 lxml 作為解析器
soup = BeautifulSoup(driver.page_source, features='lxml')
#<tbody id='stations'>
tbody = soup.find('tbody',{'id':'stations'})
#<tbody>内所有<tr>標籤
trs = tbody.find_all('tr')
#print(trs)
#使用datetime取得 年
year = str(datetime.datetime.now().year)
#對list中的每一項 <tr>
for tr in trs:
    #<tr>內的<th>標籤
    th = tr.th
    #取得下個標籤內的文字
    name = th.next_element.text
    if not name == '儀器故障':
        date = th.nextSibling.text
        tds = tr.find_all('td')
        #print(len(tds))
        if len(tds)>2 :
            temp = tds[1].text
        else:
            temp = '-'
        print(name, temp, date)
    else:
        print(name, '儀器故障')
  
#關閉模擬瀏覽器       
driver.quit()

爬找台灣期貨交易所

from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.common.by import By
url="https://mis.taifex.com.tw/futures/RegularSession/EquityIndices/FuturesDomestic"
#啟動模擬瀏覽器
driver = webdriver.Chrome()
#取得網頁代馬
driver.get(url)
#btn = driver.find_element(By.CLASS_NAME, 'btn')
btn = driver.find_element(By.TAG_NAME, 'button')
btn.click()
#指定 lxml 作為解析器
soup = BeautifulSoup(driver.page_source, features='lxml')
#print(soup)
print(soup.prettify())
table = soup.find('tbody')
print(table)
#關閉模擬瀏覽器       
driver.quit()

btn = driver.find_element_by_class_name("btn")

btn = driver.find_element(By.CLASS_NAME, 'btn')

<tbody></tbody>

# 下載資料套件
import requests as r
# 資料處理套件
import pandas as pd
from bs4 import BeautifulSoup
url = "https://mis.taifex.com.tw/futures/api/getQuoteList"
payload = {"MarketType":"0",
           "SymbolType":"F",
           "KindID":"1",
           "CID":"TXF",
           "ExpireMonth":"",
           "RowSize":"全部",
           "PageNo":"",
           "SortColumn":"",
           "AscDesc":"A"}
res = r.post(url, json = payload)
data = res.json()
df = pd.DataFrame(data['RtData']['QuoteList'])
df = df[["DispCName", "Status", "CBidPrice1", "CBidSize1", "CAskPrice1", "CAskSize1", "CLastPrice", "CDiff", "CAmpRate", "CTotalVolume", "COpenPrice", "CHighPrice", "CLowPrice", "CRefPrice", "CTime"]]
df.columns = ['商品', '狀態', '買進', '買量', '賣出', '賣量', '成交價', '漲跌', '振幅%', '成交量', '開盤', '最高', '最低', '參考價', '時間']
df.to_csv('futures_regular_trading.csv')
print(df)

爬蟲相關補充:

機器學習

1. 監督學習: 監督學習是最常用的機器學習方法之一，它的目的是從給定的訓練數據中學習出一個模型，使其能夠對新的測試數據做出預測。監督學習的兩個子類別分別為分類和回歸。分類的目的是將數據分為不同的類別，而回歸的目的是預測連續性輸出。
2. 非監督學習: 非監督學習不需要預先標記的訓練數據，其目的是從數據中發現有用的結構或規律。非監督學習的兩個子類別分別為聚類和降維。聚類的目的是將數據分為不同的群體，而降維的目的是將高維數據降維成低維數據，以便更容易理解。
3. 強化學習: 強化學習是一種以獎勵為導向的學習方法，其目的是訓練一個智能代理，使其能夠在某個環境中做出最佳的決策。強化學習通常用於遊戲，機器人控制等領域。
4. 半監督學習:是一種介於監督學習和非監督學習之間的學習方法。它的特點是使用了一些標記數據和一些未標記數據來訓練模型。

1. 基於轉換的半監督學習: 它通過在未標記數據上學習一個轉換函數，將未標記數據轉換為有標記數據來完成學習
2. 基於生成模型的半監督學習：這種方法嘗試利用未標記數據的特徵來生成標記數據
3. 基於協同過濾的半監督學習： 這種方法利用了數據之間的關係來對未標記的數據進行推論。

特徵(features) & 標籤(labels)

pip install -U scikit-learn
pip install seaborn

import sklearn
import seaborn as sns
import matplotlib.pyplot as plt
import numpy as np
iris = sns.load_dataset('iris')
iris.head()
print(iris.head())
sns.set()
sns.pairplot(iris, hue='species', height=3);
plt.show()

from sklearn import tree
features = [[155,1],[160,0],[165,1],[172,0]]
labels = [1,0,1,0]
clf = tree.DecisionTreeClassifier() #分類
clf = clf.fit(features,labels) #分類模型
wantPredict = clf.predict([[158,1]]) #預測
if wantPredict == [1]:
    print('This is man')
elif wantPredict == [0]:
    print('This is woman')

K-近鄰演算法（K Nearest Neighbor）

from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
import numpy as np
iris = datasets.load_iris() #載入資料
#定義特徵
iris_data = iris.data
iris_label = iris.target
print(iris_data[0:3])
#將資料拆成 訓練資料與測試資料
train_data , test_data , train_label , test_label = train_test_split(iris_data,iris_label,test_size=0.2)
#使用KNeighbors分類
knn = KNeighborsClassifier()
#訓練資料
knn.fit(train_data,train_label)
#預測資料
print(knn.predict(test_data))
#驗證資料
print(test_label)

1. Scikit-learn(sklearn): 是 Python 中一個常用的機器學習庫，提供了許多常用的機器學習演算法和數據分析工具。
2. Numpy: 是 Python 中一個常用的科學運算庫，提供了高效的數組和矩陣運算。

線性迴歸

1. 導入 LinearRegression 模組。
2. 建立 LinearRegression 的物件。
3. 使用 fit() 方法訓練模型。
4. 使用 predict() 方法預測目標變量。

from sklearn.linear_model import LinearRegression
import numpy as np
#建立資料
x = np.array([1,2,3,4,5])
y = np.array([5,7,9,11,13])
#建立模型
reg = LinearRegression()
#訓練模型
reg.fit(x.reshape(-1, 1), y)
#預測
print(reg.predict([[6.0]]))

y = 2x + 3

from sklearn.linear_model import LinearRegression
import matplotlib.pyplot as plt
from sklearn import datasets
import numpy as np
#建立資料
x,y = datasets.make_regression(n_samples=200,n_features=1,n_targets=1,noise=10)
plt.scatter(x,y,linewidths=0.1)
plt.show()
#建立模型
reg = LinearRegression()
#訓練模型
reg.fit(x,y)
predict = reg.predict(x[:200,:])
plt.plot(x,predict,c="red")
plt.scatter(x,y)
plt.show()
#預測
print(reg.predict(np.array([6]).reshape(1,-1)))
print(reg.predict([[6]]))

支持向量機(Support Vector Machines,SVM)

1. 導入 SVC 模組。
2. 建立 SVC 的物件。
3. 使用 fit() 方法訓練模型。
4. 使用 predict() 方法預測目標變量。

from sklearn.svm import SVC
#建立資料
x = [[1,2], [3,4], [5,6], [7,8]]
y = [0,1,1,0]
#建立模型
clf = SVC()
#訓練模型
clf.fit(x, y)
#預測
print(clf.predict([[6,7]]))

from sklearn import preprocessing #特徵標準化
import numpy as np
from sklearn.model_selection import train_test_split #cross_validation 舊版 新版用model_selection
from sklearn.datasets import make_classification
from sklearn.svm import SVC
import matplotlib.pyplot as plt
#產生 300筆資料，2個特徵，random_state用來保證每次生成的數據集相同。
x,y = make_classification(n_samples=300,n_features=2,n_redundant=0,n_informative=2,
                          random_state=3,scale=100,n_clusters_per_class=1)
plt.scatter(x[:,0],x[:,1],c=y)
plt.show()
#SVC分類進行訓練
x_train,x_test,y_train,y_test = train_test_split(x,y,test_size=0.2)
clf = SVC()
clf.fit(x_train,y_train)
print(clf.score(x_test,y_test))
#標準化
x = preprocessing.scale(x)
x_train,x_test,y_train,y_test = train_test_split(x,y,test_size=0.2)
clf = SVC()
clf.fit(x_train,y_train)
print(clf.score(x_test,y_test))

K-Fold Cross Validation 交叉驗證

1. 每個資料都被當作驗證資料使用過一次，可以確保資料都有被使用到。
2. 透過取平均值來解決資料分布不均的問題，避免overfitting
3. 可以更精確的估計模型的準確率。

from sklearn import datasets
from sklearn.model_selection import KFold
from sklearn.svm import SVC
iris = datasets.load_iris()
X = iris.data
y = iris.target
kf = KFold(n_splits=5)
for train_index, test_index in kf.split(X):
    X_train, X_test = X[train_index], X[test_index]
    y_train, y_test = y[train_index], y[test_index]
    clf = SVC()
    clf.fit(X_train, y_train)
    print(clf.score(X_test, y_test))

from sklearn.model_selection import cross_val_score
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
import numpy as np
import matplotlib.pyplot as plt
iris = datasets.load_iris()
X = iris.data
y = iris.target
knn = KNeighborsClassifier(n_neighbors=10)
scores = cross_val_score(knn,X,y,cv=5,scoring='accuracy')
print(scores)
print(scores.mean())
k_range = range(1,31)
k_scores = []
for k_number in k_range:
    knn = KNeighborsClassifier(n_neighbors=k_number)
    scores = cross_val_score(knn,X,y,cv=10,scoring='accuracy')
    k_scores.append(scores.mean())
plt.plot(k_range,k_scores)
plt.xlabel('Value of K for KNN')
plt.ylabel('Cross-Validated Accuracy')
plt.show()

儲存模型

pip install joblib

from sklearn import datasets
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
import joblib
iris = datasets.load_iris()
X = iris.data
y = iris.target
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)
# 訓練模型
clf = LogisticRegression()
clf.fit(X_train, y_train)
# 儲存模型
joblib.dump(clf, 'model.joblib')
# 載入模型
loaded_model = joblib.load('model.joblib')
print(loaded_model.score(X_test, y_test))

卷積神經網路 (CNN)

import tensorflow as tf
from tensorflow import keras
# 建立模型
model = keras.Sequential()
model.add(keras.layers.Conv2D(32, (3, 3), activation='relu', input_shape=(32, 32, 3)))
model.add(keras.layers.MaxPooling2D((2, 2)))
model.add(keras.layers.Conv2D(64, (3, 3), activation='relu'))
model.add(keras.layers.MaxPooling2D((2, 2)))
model.add(keras.layers.Conv2D(64, (3, 3), activation='relu'))
model.add(keras.layers.Flatten())
model.add(keras.layers.Dense(64, activation='relu'))
model.add(keras.layers.Dense(10, activation='softmax'))
# 編譯模型
model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])
# 載入 CIFAR-10 資料集
(x_train, y_train), (x_test, y_test) = keras.datasets.cifar10.load_data()
x_train = x_train / 255.0
x_test = x_test / 255.0
# 訓練模型
model.fit(x_train, y_train, epochs=10, validation_split=0.1)
# 評估模型
test_loss, test_acc = model.evaluate(x_test,  y_test, verbose=2)
print(test_acc)