亞馬遜的機器學習專家發現了一個大問題:他們的新招募系統不喜歡女人。
不管是管理庫存還是定價策略,「自動化」在亞馬遜的電子商務領域中一直是重要關鍵。亞馬遜從2014年起就建構了這個電腦計畫以審視應徵者的履歷,期望能機械化地搜尋頂尖人才。這項實驗性徵才系統透過AI技術來為應徵者評分,從一顆星到五顆星,就像買家怎麼評論亞馬遜商品的。
「公司希望這是一個可以在一百份履歷中篩選出五名頂尖人才的系統,然後公司就會雇用那五名求職者。」其中一位知情人士向路透社透露。
但到了2015年,亞馬遜發現這個新系統並沒有以性別中立的方式來為應徵軟體開發員和其他技術型工作的應徵者評分。這是因為亞馬遜的徵才系統是觀察過去十年內該公司收到的所有履歷樣本。而在由男人主導的科技領域裡,大部分的履歷都是來自男性。
AI系統因此認定男性求職者比較符合需求。它讓含有「女性」(Women’s)字樣的履歷都被扣分,來自某兩家女校的畢業生也會被降低評分,不過校名並未被揭露。
雖然亞馬遜事後有修改了程式以維持審查中立,但無法保證這個系統會不會再用其他歧視性的角度去分類求職者。最後,亞馬遜在去年初解散了這個團隊,因為上層已經對這個自動徵才計畫失去信心。
亞馬遜拒絕針對這項技術所面臨的挑戰做出回應,並說這項工具「從來沒有被亞馬遜的招聘人員用來評選求職者」。但沒有做出進一步解釋,也不否認招聘人員會參考這個工具所產生的推薦人選。
亞馬遜的實驗對於機器學習的限制來說是個很好的研究案例。對越來越多想部分用自動徵才的公司而言也是很好的一課。有55%的美國人資主管認為,AI技術在未來五年中會是他們工作裡重要的一塊。
「如何確保演算法是公平的,如何確定演算法是真的可解釋的——還有很長一段路要走。」在賓州卡內基美隆大學(Carnegie Mellon University)教授機器學習的電腦專家Nihar Shah説。
資料來源:Reuters−Amazon scraps secret AI recruiting tool that showed bias against women