只用pandas算precision, recall, accuracy等指標

準備

1. answers = 來自data的, 由0, 1來表示是與不是的pd.DataFrame
2. predicted = 由model計算並且已經歸類為0, 1的結果

Accuracy 總正確率 (所有你的model猜對的cases/ 全部的cases)

1. 把answers和predicted的所有0都recode成-1
2. 算一個新的dataframe = 兩個dataframes做element-wise乘法
3. 把新的dataframe的 -1都recode成0
4. 新的dataframe每個欄位的平均就是每個項目的accuracy

Precision (你的model猜yes的情況下, 真的在data中是yes的機率)

1. answers不動, 把predicted的0都換成missing values (e.g. np.nan)
2. 算一個新的dataframe = 兩個dataframes做element-wise乘法
3. 新的dataframe每個欄位的平均就是每個項目的precision

Recall (真的在data是yes的情況下, 你的model猜yes的機率)

1. predicted不動, 但是answers的0都換成missing values (e.g. np.nan)
2. 算一個新的dataframe = 兩個dataframes做element-wise乘法
3. 新的dataframe每個欄位的平均就是每個項目的precision

F1 (Precision和Recall的調和平均數)

1. 算出precision和recall
2. 算出調和平均數

全部的code在這

# some toy data, replace with your own data frames import pandas as pd from numpy import nan predicted = pd.DataFrame({ 'a':[1., 1., 1., 1., 0.], 'b':[1., 0., 1., 1., 0.], 'c':[0., 0., 0., 1., 1.] }) answers = pd.DataFrame({ 'a':[1., 1., 1., 1., 1.], 'b':[1., 1., 1., 1., 0.], 'c':[0., 1., 0., 0., 1.] }) def accuracy(predicted:pd.DataFrame, answers:pd.DataFrame) - pd.Series: result_df = predicted.replace(0, -1) * answers.replace(0, -1) result_df.replace(-1, 0, inplace=True) return result_df.mean() def precision(predicted:pd.DataFrame, answers:pd.DataFrame) - pd.Series: result_df = predicted.replace(0, nan) * answers return result_df.mean() def recall(predicted:pd.DataFrame, answers:pd.DataFrame) - pd.Series: result_df = predicted * answers.replace(0, nan) return result_df.mean() def f1(predicted:pd.DataFrame, answers:pd.DataFrame) - pd.Series: p = precision(predicted, answers) r = recall(predicted, answers) f1 = 2 / (p**-1 + r**-1) return f1

測試結果

accuracy(predicted, answers) a 0.8 b 0.8 c 0.6 dtype: float64 precision(predicted, answers) a 1.0 b 1.0 c 0.5 dtype: float64 recall(predicted, answers) a 0.80 b 0.75 c 0.50 dtype: float64 f1(predicted, answers) a 0.888889 b 0.857143 c 0.500000 dtype: float64