Foodinfo是食物外送平台(類似於uber eats, foodpanda),在義大利是主要的外送平台之一。義大利個資保護機關於2021.06.10數位平台Foodinfo開罰260萬歐元(約1億新台幣),因為他們違反多項GDPR規定(包含第5以及第13、22、25、30、32、35、37),其中最重要為他們使用具有歧視性的AI演算法管理旗下的外送員。
他們的AI演算法做錯了什麼?
Foodinfo AI演算法如何運作?
Foodinfo系統會根據消費者、商家的評價、外送員接單率、忙碌時段上工率、一週平均上工率、是否曾拒絕接單、對於接單通知的反應速度(例如出現接單通知後3秒鐘按同意接單或3分鐘後按同意接單)等狀況放入AI系統中算出對於外送員的評分,AI會再根據此評分分配工作給外送員,因此評分低的外送員所可以送到的單就會比較少。
AI也會因上面所得之結果不斷重新運算,調整各項配分的比例,發單的方式、時間、地點等等。
那麼義大利個資保護機關認為Foodinfo做錯了哪些事?
1.Foodinfo雖然有設置異議的機制,但義大利個資主管機關認為這是假的機制,根本無法影響AI運算的結果。
2.AI會如何運算、運算會採納重要要素,Foodinfo都沒有告知外送員。
3.Foodinfo並沒有做好防護措施,有可能將基於錯誤或是偏見的意見納入計算標準中(例如消費者或商家無正當理由給低分的情形並未排除)
義大利個資保護機關要求改正!
首先,必須要最小化基於錯誤或是偏見的評分,過去由消費者或是商家所進行的評分,其中具有歧視性的評分Foodinfo並沒有剔除(例如只因外送員是少數民族或特定宗教信仰者、消費者多等數分鐘給予低分),並且會基於這項評分評價外送員的表現。接著Foodinfo會根據根據AI計算出的評價結果,分配特定外送員多一點的工作,減少評價低的外送員工作。
因此Foodinfo需要加強對於消費者與外送員的對話內容、通話記錄、每15秒鐘外送員的地理位置、送餐路線、預計的送達時間、過去消費者與商家的評價紀錄、甚至是手機電力等等以確認消費者與商家的評價是否允當,是否有歧視性的評分。
第二,義大利個資保護機關要求Foodinfo需要處理對於,AI演算法必須去減少對於外送員的處罰。
註:foodinfo是一家發起於義大利的線上食物外送公司,該公司與旗下外送員係簽訂承攬契約,但於2020年時,義大利最高法院認為外送員應要受有勞工權益。當時他們有19,000名外送員。
新創公司創造了許多不同的商業模式,但近年來各國對於新創公司開罰的案例或是不利的判決也愈來愈多。