本頁只刊出中文翻譯與中文說明；英文原文請見下方原文連結。
原文連結
論文資訊
- 類型：工作論文
- 編號：工作論文 #55
- 日期：2026-03-18
摘要
當我們將機器學習用於公共政策時，我們發現許多有用的變數與其他變數相關聯，而基於這些變數做出決策會存在道德問題。這個問題在大數據時代變得特別嚴重，因為預測往往是在缺乏底層因果機制的強有力理論的情況下做出的。我們描述了當高效能演算法無法提供明確的因果關係時民主決策面臨的危險。然後，我們示範資訊理論如何使我們能夠降低預測，以便它們與受保護的變數去相關，而準確性損失最小。然而，強製完全去相關充其量只是一個近期的解決方案。因果論證在倫理辯論中的作用促使人們發展出新的、可解釋的、引用因果機制的機器學習演算法。
中文翻譯
錯誤的一面：大數據與受保護的類別 Simon DeDeo* 2016 年 6 月 23 日 摘要 當我們將機器學習用於公共政策時，我們發現許多有用的變數與其他變數相關聯，而基於這些變數的決策可能會存在倫理問題。這個問題在大數據時代變得尤其嚴重，因為預測通常是在缺乏潛在因果機制的強有力理論的情況下做出的。我們描述了當高效能演算法無法提供明確的因果關係時民主決策面臨的危險。然後，我們示範資訊理論如何使我們能夠降低預測的質量，以便它們與受保護的變數去相關，而準確性損失最小。然而，強制實施全面裝飾是近期最好的解決方案。因果論點在道德辯論中的作用促使人們發展出新的、可解釋的、參考因果機制的機器學習演算法。 「先生，我饒有興趣地讀了你的信；而且，從你對自己作為工人的描述來看，我大膽地認為，留在自己的領域並堅持自己的行業，比採取任何其他做法，你在生活中獲得成功的機會要大得多。」JudetheObscure,ThomasHardy(1895) 陪審團應該好好推理嗎？醫生應該嗎？我們的領導人應該嗎？當機器學習增強人類思維時，問題就比看起來更微妙。顯然，如果我們收集更多資訊並使用經過驗證的方法進行分析，我們將做出更好的決策。電視上的主角求助於電腦來增強影像、尋找恐怖分子或追蹤流行病的源頭。在大眾的想像中，電腦會提供幫助，而且電腦越好，程式設計師越聰明，幫助就越好。然而，真實的故事更令人驚訝。我們自然地認為模擬我們行為的演算法會避免人類偏見。然而，正如我們將要展示的，電腦分析可以引導我們在我們不知情的情況下做出決定，根據種族來判斷人們，*印第安納大學資訊學與計算學院資訊學系和認知科學項目，布魯明頓，IN 47408 & 聖達菲研究所，1399 Hyde Park Road, Santa Fe, NM 87501。 simon@santafe.edu; 性，或類。在依賴機器的過程中，我們可能會加劇現有的不平等，甚至造成新的不平等。在大數據時代，這個問題變得更糟，而不是更好——儘管我們的演算法可以存取越來越相關的資訊。這項挑戰是廣泛的：我們作為陪審團中的普通人、尋求專業知識的專家以及掌握權力的決策者來面對這項挑戰。為了證明這個挑戰，我們將明確我們如何判斷政治背景下決策的道德規範。透過一系列的例子，我們將展示這些判斷的一個重要特徵如何涉及對原因的推理。因果推理是我們如何證明我們獎勵個人並要求他們負責的方式合理性的核心。然而，我們最成功的演算法並不能產生因果關係。例如，他們可能不會透露抵押貸款申請人文件的哪些特徵組合在一起導致銀行提供或拒絕貸款的演算法。他們也沒有說明相關個人如何擁有這些屬性，或為什麼一開始選擇這些特徵而不是其他特徵。我們的政策道德變得不透明。在這種情況下，決策者在遵循或受到機器建議的影響時可能會在不知不覺中違反他們的核心信念。在某些情況下，科技帶來的道德問題的解決方案就是更多的技術。我們將說明如何在短期內實現暴力解決方案，並提出其最佳數學形式。更有希望的是，電腦科學領域剛開始的未來工作擴展可能使對演算法的隱含道德進行逆向工程成為可能，從而更有效地利用我們手頭上的數據。我們描述了兩項最新進展——貢獻傳播和貝葉斯列表機器——可能有助於實現這一目標。所有這些方法都有其局限性。機器的道德使用可能會導致新的（短期）效率低下。我們可能會發現更多的抵押貸款沒有償還，更多的獎學金被浪費，更多的犯罪沒有被發現。這是民主社會所熟悉的權衡，例如，民主社會的司法系統在無罪推定的基礎上蓬勃發展，可以讓有罪的人逍遙法外。 即使效率低下，正義與繁榮也不一定是不相容的。在某些歷史時期，以短期收益換取更神聖的價值，但出於仍知之甚少的原因，卻帶來了長期繁榮。我們的討論將涉及現代、發達和多元化社會提出的關於機會和結果平等的問題。我們不對任何特定政治計劃或方法的優劣採取立場。相反，我們的目標是展示新演算法的使用如何干擾民主社會中公民和政治家歷史上辯論這些問題的方式。如果我們不了解機器如何改變決策的本質，我們將發現自己越來越無法解決公共領域的道德問題。 1 相關性、歧視與決策倫理 在社會背景下，決策倫理受到許多限制。我們從現代最清晰的概念之一開始：受保護類別的概念。基於此類類別所做的決策被認為有潛在問題，並且一直是半個多世紀以來爭論的焦點。例如，在美國，1964 年的《民權法案》禁止基於種族、膚色、宗教、性別和國籍的歧視，而 1972 年《教育修正案》第九條則規定，在提供教育機會時使用性別作為標準是不可接受的。然而，看似明確的規則卻並非如此。在任何社會中，受保護類別和不受保護類別都密切相關。有些是顯而易見的：如果我是女性，我更有可能身高不到五英尺。其他人則不然：根據我的原籍國以及我的文化背景，我可能會在特定的商店購物，有獨特的用電模式，年輕時結婚，或戰勝糖尿病的高風險。相關性無所不在，北美的委婉習語「錯誤的一邊」就是從它們中獲得意義的。位於城鎮鐵路線的北部或南部是一個無辜的類別，但與社會可能認為決策不適當的基礎的屬性相關。人們認為錯誤的一側的「錯誤」不是地理，而是居住在那裡的人的類型。在大數據時代，委婉說法倍增。例如，考慮一個醫療保健系統，其令人欽佩的目標是將稀缺的移植器官分配給最有可能受益的接受者。隨著電子記錄以及收集和分析電子記錄的方法變得越來越複雜，我們可能會發現統計證據，表明與特定種族群體相關的屬性（飲食、吸煙或運動）導致成員的生存率較低。如果我們希望最大限度地挽救人年生命，我們是否應該做出最終選擇不同種族接受者的決定？當機器學習被用來選擇人群中的成員以獲得利益或遭受傷害時，通常會出現此類問題。器官捐贈只是我們期望在固有道德風險範圍內進行廣泛投資組合的一個例子。如果我們希望向那些最有可能從大學畢業的學生分配獎學金，我們可能會發現，包括學生的郵遞區號、身體健康或詞彙量會提高我們演算法的預測能力。 1這些屬性都不是受保護的類別，但它們在機器學習中的使用自然會導致群體依賴的結果，從居住地到醫療護理到童年學習的詞彙的一切都可能與種族等屬性相關。在分配獎學金資金的情況下，我們可能希望排除一些表面上具有歧視性的資料來源，例如郵政編碼，即使它們不直接對應於受保護的類別。不過，其他因素，例如身體健康或詞彙量，可能似乎預示著未來的成功追踪，例如堅毅等性格特徵[1,2]。然而，身體健康或詞彙的預測能力可能部分取決於種族或社會經濟地位與這些預測變數和未來成功的相關性。資料探勘可能會揭示青少年健康與未來就業成功之間的關係。但這種相關性可能是由潛在的機制引起的，例如我們可能認為進入遊樂場的問題會影響決策的因素。 試圖將身體健康視為精神紀律的信號，可能會導致我們不再推薦富裕的學生，僅僅因為身體健康意味著有機會進入遊樂場，進入遊樂場意味著較高的社會經濟地位，而較高的社會經濟地位會帶來更多的就業機會。通俗地說，機器可能會發現壁球運動員或賽艇運動員在銀行業取得了非凡的成功。但這種相關性可能是由接觸這些因素所驅動的。請注意，使用身體健康並不意味著我們選擇更適合而不是更有可能畢業的學生；相反，我們可以透過使用包括身體健康在內的微妙信號來提高我們最初的選擇目標——畢業率。體育運動與傳統上主導該職業的社會文化群體的成員資格相關，而不是壁球服務與評估貿易協議價值的能力之間的某種神秘關係。 2 原因推理 解決上一節問題的一個解決方案是考慮所有可測量的屬性有罪，直到被證明無罪。在這種情況下，我們僅根據那些已知詳細因果機制並且已知在道德上中立的屬性來做出決策。眾所周知，人們關注在決策中發揮作用的因果機制。 2 例如，如果我們希望在獎學金審議中使用身體健康，我們會首先提出一個因果敘述：學生的性格如何引導他們渴望透過堅持來完成困難的任務；在適當的情況下，這種願望如何促使他們進行競技運動訓練；以及這種訓練如何使他們提高身體健康的定量指標。我們會警惕那些表明我們的推理有誤的跡象——如果手球方面的出色表現與壁球方面的出色表現一樣或多或少都是勇氣的信號，那麼我們就不應該更喜歡來自曼哈頓的壁球運動員而不是來自布朗克斯的手球運動員。這種隱含或明確的推理幾乎隨處可見，人們聚集在一起做出影響他人生活的決定。關於為什麼某人未能達到獎學金標準、引發攔截搜身或獲得政府合約的人類可讀的記錄是政策道德辯論的基礎。這些通常要求我們解釋不同的看法在決策過程中所扮演的角色（即，委員會做出決定的依據是什麼）以及導致這些看法的事實的因果根源（即，這個人如何具有構成該決策基礎的品質）。即使我們同意建立一種將學生的性格和身體健康聯繫起來的機制，我們也可能會擔心社會經濟地位所起的因果作用：學生的性格可能會導致他們渴望完成困難的任務，但他們的社會經濟地位可能會排除他們進入操場和接受輔導的機會。如果我們就這條新的因果路徑達成一致，可能會導致我們反對使用身體健康，或僅在特定的社會經濟類別內使用它來做出決策。 3 機器的衝突 對相關事實的起源及其使用進行因果解釋的需求是道德決策與大數據使用之間衝突的核心。這是因為使用這些數據的演算法沒有明確引用因果機制。相反，它們透過發現意想不到的模式而獲得力量，這些模式是透過以通常無法解釋的方式組合粗粒度屬性而發現的。 「為什麼電腦說出了它所做的事情」——為什麼一位候選人的評分高於另一位候選人，例如 2See 的論文 [3] 或評論 [4]，以及其中的參考文獻，以了解因果關係在法律推理中的作用；更廣泛地說，一般因果關係分析的一個關鍵原因是它在責任等倫理概念中的作用[5]。例子——不再清楚。一方面，我們有輸入：每個候選人的數據。另一方面，我們有產出：二元分類（良好風險或不良風險），或可能是一個數字（例如，抵押貸款違約的機率）。然而，沒有人能夠將中間步驟的邏輯連結在一起。沒有人規定如何將每個候選人的事實以數學方式（例如“用工資除以債務”）或邏輯方式（“如果已婚且不滿 25 歲，則增加風險比”）組合在一起。程式設計師設定界線：可以使用什麼類型的接線。 但它們允許機器在這個（通常是不可估量的）空間內找到一種表現特別好的組合方法。方法本身通常無法閱讀，更不用說解釋了。當我們嘗試以人類可讀的形式表示它時，我們得到的最好的結果是一種意大利麵條式代碼，該代碼將信息進行多個並行轉換或不直觀的重組，甚至允許規則投票反對第三個組織。同時，機器學習的進步通常意味著發現特別豐富的方法來限制機器必須搜尋的規則空間，或找到新的、更快的搜尋方法。它們通常採用黑魔法的形式：我們偶然發現的啟發式方法和經驗法則，並且由於我們難以在任何嚴格程度上解釋的原因而具有意想不到的良好性能。由於啟發法疊加在啟發法之上，這些進步的影響是使規則比以前更加混亂和難以解釋。 （這帶來了超越決策倫理的問題；高性能機器以犧牲可理解性為代價來提高準確性的能力也威脅到科學進步的某些途徑[6]。）正如參考文獻[7]所描述的，倫理學家的情況更加複雜，因為數據量要求資訊被剝離上下文並揭示歧義。毫不誇張地說，一個人的行為不再是一個人性格內容的訊號。即使我們能夠遵循演算法的規則，對該演算法所持有的關於世界的潛在和隱含的理論的解釋也是不可能的。由於委婉語的問題，從輸入資料中消除受保護的類別無法解決可解釋性問題。確實，有關受保護類別的知識本身並不存在倫理問題，在某些情況下可能是需要的。它不僅可以幫助我們追求更大的公平，而且可以幫助我們追求其他不相關的目標。不同族群中盛行率不同的疾病的診斷就是一個簡單的例子。考慮器官移植案例和受保護類別{a,b}。 a 型的個體可能會出現一種併發症，而 a 型的個體則同樣會出現另一種併發症。鑑於測驗不精確，對個人類型的了解可能有助於確定每個群體中誰是最佳候選人，從而提高生存率，而無需隱含依賴道德問題機制。在其他情況下，決策的公平性可能建議我們考慮候選人所面臨的困難。考慮向夏令營頒發國家獎學金。在兩名成績相同的候選人中，我們可能希望優先選擇那些在獲得早期機會時可能遭受種族歧視的學生。當然，為了實現這種重新平衡，我們必須了解候選人的種族。即使公平不是問題，對受保護類別的了解也可以為決策者提供遠遠超出上述醫療案例的幫助。工程學院的本科生招生委員會可能希望將表現優異的女性申請人排在具有類似資格的男性之上，並不是出於想要糾正錯誤以實現人口平衡的群體，而只是因為她的成就可能更令人印象深刻，因為她在面對明顯的歧視或刻板印象威脅時取得了成就[8]。使用受保護的資訊有助於根據普遍特徵（在這種情況下，也許是勇氣；參見上面的討論）來選擇候選人。在器官移植案例中，相關性知識可能就足夠了。我不需要知道為什麼 A 組和 B 組有這樣的差異——只要我可以透過不同的方法獲得他們的風險狀況的預測知識。然而，在另外兩種情況下，關於如何、何時以及為何消除無知之幕的討論[9]引發了關於不平等和優勢背後的原因和機制的討論。總而言之，不只是電腦無法判斷其決策的道德性。這些演算法的工作方式妨礙了它們以我們已經學會的非常人性化的方式進行分析，以判斷和推理什麼是、什麼不是、公正、合理和良好。 4 演算法解決方案 我們發現自己陷入了困境。我們可以拒絕現代對資料科學的轉向，回到統計分析依賴明確的因果模型的時代，而這些模型自然可以從倫理和政治的角度來檢驗。 在这样做的过程中，我们失去了这些新算法所承诺的许多潜在好处：更有效地利用资源，更好地帮助我们的同胞，以及人类繁荣的新机会。或者，我们可以拒绝这种早期的道德和技术官僚目标的结合，接受机器辅助决策将导致歧视的观点，并进入一个委婉说法的新时代，充其量玩一个能抓就抓的游戏，并在问题变得明显时禁止使用这些方法。这两种情况似乎都不可接受，尽管道德直觉敦促我们用效用（不受限制地使用机器辅助推理）来换取更神圣的价值观，例如公平（担心委婉说法的危险）。在解決這一衝突方面已經取得了一些進展。研究人員已經開始開發演算法如何使用輸入資料進行分類和預測的因果解釋。參考文獻引進的貢獻傳播方法。 [10]，或參考文獻的貝葉斯列表機。 [11] 是兩個最近的例子，它們使我們能夠看到演算法輸入的不同部分如何組合以產生最終的預測。貢獻傳播最自然地應用於所謂深度學習系統中所發生的分層處理。 3随着深度学习系统通过一系列模块传递数据，最终产生最终预测，贡献传播允许我们跟踪输入数据的哪些特征（在任何特定情况下）导致最终分类。例如，在图像分类的情况下，它可以突出显示猫图片中导致其被分类为猫的区域（可能是耳朵或前向的眼睛）；通过这种方式，用户可以检查以确保使用了正确的图像特征。貢獻傳播可以僅根據相關上下文（例如經常發現貓的扶手椅背景）來識別圖像何時被分類為貓。這使得貢獻傳播成為「基於什麼」問題的自然診斷：決策過程中使用了哪些特徵。应用于复杂的医疗或社会 3许多机器学习算法旨在对传入数据进行分类：例如，按风险程度对抵押贷款申请人进行分类。它們的工作原理是在過去的數據中尋找模式，並使用這些模式的相對強度對未知類型的新數據進行分類。 「深度學習」結合了這兩個步驟，同時學習模式以及它們如何結合起來產生興趣財產。決策問題時，它可以突出顯示相關類別，以及它們是否對最終選擇做出積極或消極的貢獻。貝葉斯列表機器採用不同的方法，並且可以應用於依賴所謂決策樹的演算法。决策树是关于输入数据属性的一系列问题（“对象是否超过 21 岁？”；“对象住在南边吗？”），从而产生分类（“对象属于高风险”）。然而，由於樹非常複雜，並且具有冗餘問題的子樹，因此很難解釋演算法所使用的世界模型。貝葉斯列表機器透過「修剪」樹來找到人類可讀的簡單決策規則來解決這個問題。這兩種進步都無法解決完整的問題：僅僅知道變數是如何組合的並不能解釋為什麼變數以這種方式組合。虽然这两种方法都允许我们查看以前不透明的黑匣子，但它们让我们不确定导致这个或那个变量组合成为我们希望知道的内容的良好预测器的因果机制。我們可能知道決定是「根據什麼」做出的，但不知道所涉個人是如何符合標準的。技術進步可能對解決第二個更迫切的問題大有幫助。人工智慧研究的一個悠久傳統依賴於建立因果交互作用的明確模型[12]。 Pearl 因果關係 [13] 等框架試圖在電腦中創建一個以圖形方式表達的世界因果的心智模型，即影響網絡。从精神上来说，这类似于之前对人工智能问题的攻击——约翰·豪格兰德（John Haugeland）将其描述为“老式”人工智能（GOFAI）[14]。 GOFAI 方法试图通过模仿特定的思维方式（用数学语法表达思想）以及根据一组固定且内部一致的规则进行操作来制造智能机器。 Judea Pearl 的因果網絡可以被人類“閱讀”，並且以邏輯一致的方式，它們的因果語言可以用於道德解釋。珍珠因果關係在科學上有廣泛的影響。但它尚未在當今廣泛用於監控和預測的許多機器學習演算法中發揮作用，例如深度學習或隨機森林。有一天，這樣的框架可以為新演算法提供“道德圖解”，使研究人員、政策制定者和公民能夠對演算法的使用進行道德推理。那一天還沒到來。 5 資訊理論與公共政策 在缺乏允許我們討論群體相關結果的道德權重的因果模型的情況下，進步仍然是可能的。在本節中，我們將展示如何編碼一個更簡單的目標：決策者所做的決策與受保護的變數完全無關。人們可能會非正式地將這樣的系統描述為「結果平等」。如果正確實施，我們的解決方案可以完全消除類別和結果的關聯。想像一下您聽說某人獲得了獎學金；使用我們在這裡提出的結果相等的解決方案，這個事實不會讓您了解有關個人問題的種族（或性別，或階級，根據需要）。在任何情況下，這樣的目標是否可取，一直以來都是人們不斷爭論的話題，我們將在結論中回到這一點。這一目標的獨特數學解決方案的存在不僅具有內在意義。它也提供了一個明確的例子，說明技術和道德問題如何在演算法時代交織在一起。數學論證的確切結構具有道德意涵。我們提出的方法可以進行後處理並「清理」預測輸出，以便消除演算法輸出與受保護類別相關的可能性。同時，它將盡可能保留演算法的預測能力。該方法改變了演算法的輸出，與最近的工作[15]相比，該工作考慮了改變演算法輸入的可能性。我們在這裡的建議也不同於參考文獻所考慮的建議。 [16]，它試圖完全排除一些變數作為輸入。事實上，在這裡，為了校正相關性的影響，我們的計算需要受保護類別的知識才能繼續確定如何進行這種校正，這我們轉向資訊理論。我們想要預測一個特定的政策相關變數 S（例如，病人在醫療過程中倖存、犯罪或從大學畢業的幾率），並擁有一個可供我們使用的屬性清單 V。列表 V 可能分為兩個子列表，其中一個 U 沒有問題，而另一個 W 包含受保護的變量，例如種族、性別或國籍。鑑於我們上面的討論，根據 Pr(S|V) 做出政策決策很可能是不可接受的。如果這是不可接受的，那麼使用限制函數 Pr(S|U) 也是不可接受的，因為 U 與 V 相關（「軌道錯誤的一側」問題）。此外，使用受限函數會放棄對受保護類別的潛在無害使用。我們希望找到避免與受保護變數相關的分佈，同時最大限度地減少由此帶來的預測資訊的損失。此「策略有效」機率的不敏感條件 Pr 為 X Pr (s,u,w) = Pr(s)Pr(w)。 (1) X u 等價地，Pr (s|w)－受保護類別 w 產生結果的機率－與 w 無關，給定該類別在總體中的真實分佈 Pr(w)。因此，我們的原則是，僅憑對結果的了解，無法推論出某個人的受保護財產。在上面的兩個例子中，根據 Pr 進行分配意味著，如果您得知 X 一個人接受了挽救生命的移植手術或受到額外的警方監視，您不會獲得有關他的種族的信息。有很多滿足上述約束的Pr。為了最大限度地減少資訊損失，我們施加 X 額外的約束，使其最小化 KL(Pr (S,V),Pr(S,V)), (2) X 其中 KListtheKullback-Leiblerdivergence, P(y) KL(P,Q) ≡ P(y)log 。 (3) Q(y) y 最小化 Kullback-Leibler 散度意味著基於 Pr (S,V) X 所做的決策將與 Pr(S,V) 中封裝的全部知識在最大程度上無法區分（Chernoff–SteinLemma；參見參考文獻[17]）。給定方程式的結構。 1 我們可以最小化方程式。 3 使用拉格朗日乘子。 我們需要 |S||W|+1 乘數：一個乘數用於強制 Pr 的標準化，其餘乘數用於強制由 Eq.1 簡化的 X 個不同約束。我們求 Pr(s) Pr (s,u,w) = Pr(s,u,w) 。 (4) X Pr(s|w) 了解預測 s 如何與受保護變數 w 相關聯，使我們能夠在將這些預測用於政策目的時消除這些相關性。當 Pr(S,V) 等於零但 Pr(S,V) 不等於零時，Kullback-Leibler 散度具有變得不確定的特性。然而，當 Pr(S,V) 恰好為零時，導致施加方程式 1 的道德直覺 X 不適用。這種完美的知識案例意味著一種非常不同的認知結構：某個群體不可能獲得結果 S，這必然是真實的（而不是簡單地非常可能）。與器官移植或畢業率的例子相比，這種完美的知識是不可能的，更好的類比是提供產前護理。沒有任何正義觀念顯示公平待遇需要平等的資源來測試男性和女性是否懷孕。這些例外情況的正確解釋很容易實現，因此機構可以將男性排除在產前護理之外，但使用本節的方法，為女性提供最佳的產前護理，同時防止種族、宗教或社會階層的不均勻分配。我們在這裡提出的方法是針對特定問題的數學上乾淨的解決方案。使用這些方法可以強制受保護類別與人們希望了解的變數之間的嚴格獨立性。在任何特定情況下，這可能是也可能不是期望的結果。人們可能願意犧牲群體依賴的結果來支持其他美德。這可以從加州 209 號提案（1996 年）和密西根州民權倡議（2006 年）正在進行的辯論中看出，這兩項提案都禁止使用有關種族的信息來平衡大學招生，而後者於 2014 年 4 月被確認為憲法。換句話說，這種「結果相等」的結構並不能免除我們對我們所使用的方法進行推理的責任。相反，它提供了一個限制案例，我們可以根據它來比較其他方法。當我們強迫結果相等時，預測會發生多大變化？我們看到的變化是否提醒我們相關演算法使用的潛在問題來源？在資料科學出現之前的時代，決策的相對透明性使得一般人能夠平等地討論群體相關結果的問題。即使官僚主義、傳統或未能達成共識阻礙他們實施他們所希望的變革，公民至少有能力辯論和討論他們所看到的內容。當我們使用機器從數據中推斷和推斷時，關於公平和機會等根本問題的民主辯論變得更加困難，即使不是不可能，也會迫使公民、專家和領導人進行辯論。如果我們不知道我們的演算法所依賴的世界模型，我們就無法詢問他們的建議是否公正。 6 結論 機器學習為我們提供了新的能力，可以非常準確地預測我們的身體、思想和社會的一些最關鍵的特徵，並且遠遠超出人類獨立思維的能力。實現這些演算法的機器越來越成為我們意志的延伸[18]，使我們能夠推斷思想實驗的結果，填補缺失的知識，並以意想不到的準確度預測未來。除了同儕審查文獻中報導的進展之外，最近流行的報導讓人感覺到這些工具在學術界之外的使用越來越多[19, 20]，而且它們的使用似乎可能在規模（領域數量）和範圍（領域內問題範圍）方面都在加速。對強大但僅被部分理解的演算法的依賴給風險管理帶來了新的挑戰。例如，預測可能會以我們意想不到的方式出錯，從而使評估風險變得更加困難。正如其他地方所討論的[21]，機器學習也給個人隱私帶來了新的挑戰：在一個著名的例子中，沃爾瑪的統計學家能夠從她的購物習慣中推斷出青少年在她父親明顯之前就懷孕了[22]。本章論證了第三個挑戰的存在。即使演算法完美運作（當它們的預測是正確的，並且它們的不確定性被準確估計），當它們被善意的個人使用，當它們的使用僅限於數據和變量的預測，並得到參與者的明確同意時，這一挑戰仍然存在。 為了幫助克服第三個挑戰，我們提出了逆向工程演算法的雄心勃勃的目標，以揭示其隱藏的因果模型。我們也透過範例提出了在受限領域中工作的更溫和的方法。在這兩種情況下，進步都要求我們“打開演算法盒子”，並依靠企業和政府的承諾來揭示他們使用的演算法的重要特徵[23]。法官已經在審判的量刑階段使用預測電腦模型[16]。人們似乎並沒有意識到這些模型對公正決策的危險——儘管它們對改變生活的決策有影響。這些都是真正的挑戰，但也有理由樂觀。數學創新可能會帶來意想不到的不公平現象。我們用來研究電腦輔助預測新工具的相同方法可能會改變我們對過去使用的規則的看法。也許最重要的是，它們可以重新賦予政策制定者和普通公民權力，並讓道德辯論在演算法時代蓬勃發展。大數據的本質模糊了最佳解決方案的推論與使用該推論的道德約束之間的界限。有關公平、歧視和公平的爭論以前被理解為法律哲學和政治理論的領域，現在不可避免地與數學和計算問題聯繫在一起。這裡的論點表明，倫理辯論必須透過對預測數學的理解來補充。他們敦促資料科學家和統計學家越來越熟悉公共領域道德推理的本質。致謝。我感謝 Cosma Shalizi（卡內基美隆大學）的對話和討論，以及對上述「結果平等」解決方案的共同努力。我感謝 John Miller（卡內基美隆大學）、Chris Wood（聖塔菲研究所）、Dave Baker（密西根大學）、Eden Medina（印第安納大學）、Bradi Heaberlin（印第安納大學）和 Kirstin G. G. Harriger（新墨西哥大學）進行了補充討論。這項工作得到了聖達菲研究所奧米迪亞博士後獎學金的部分支持。參考文獻 [1] AngelaLDuckworth、ChristopherPeterson、MichaelDMatthews 和 DennisRKKelly。毅力：對長期目標的堅持與熱情。人格與社會心理學雜誌，92（6）：1087，2007。 [2] 勞倫·埃斯克雷斯-溫克勒、伊麗莎白·P·舒爾曼、斯科特·A·比爾和安吉拉·L·達克沃斯。毅力效應：預測在軍隊、工作場所、學校和婚姻中的留任率。心理學前沿，5，2014。 [3] 碩士摩爾.因果關係與責任：法律、道德與形上學論文。牛津大學出版社，英國牛津，2010 年。 [4] 安東尼奧諾雷。法律上的因果關係。摘自愛德華·N·扎爾塔，編輯，《斯坦福哲學百科全書》，2010 年冬季版，2010 年。 [5] 喬納森‧謝弗。因果關係的形上學。札爾塔 (Edward N. Zalta)，編輯，《史丹佛哲學百科全書》。 2014 年夏季版，2014 年。 [6] 大衛·C·克拉考爾、傑西卡·C·弗萊克、西蒙·德迪奧、多因·法默和丹尼爾·洛克莫爾。智慧系統的智慧數據分析。智慧數據分析國際研討會，第 8-17 頁。 Springer，2010 年。 [7] 克里斯蒂娜·阿萊莫和詹尼斯·卡利尼科斯。大數據的社交生活：社群媒體平台上的社交性和個人化。 《大數據不是單一的》，2015 年。 [8] 史蒂文·JSpencer、克勞德·MSteele 和黛安·M·奎因。刻板印象的威脅和女性的數學表現。實驗社會心理學雜誌，35（1）：4-28，1999。 [9] J.羅爾斯。正義理論。哈佛大學出版社，美國麻薩諸塞州劍橋，2009 年。 1971 第一版。 [10] 威爾·蘭德克、邁克爾·DThomure、路易斯·貝當古、梅蘭妮·米切爾、加勒特·凱尼恩和史蒂文·P·布倫比。解釋分層網絡的個別分類。 2013 年 IEEE 計算智慧與資料探勘 (CIDM) 研討會，第 32-38 頁，2013 年 4 月。 [11] 班傑明·萊瑟姆、辛西婭·魯丁、泰勒·H·麥考密克和大衛·馬迪根。使用規則和貝葉斯分析的可解釋的中風預測模型。 AAAI（最新進展），2013 年。 [12] 朱迪亞珍珠。智慧系統中的機率推理：合理推理網路。表示與推理系列。 Morgan Kaufmann，1997。 [13] 朱迪亞珍珠。因果關係：模型、推理與推論。劍橋大學出版社，2000。 [14] J.豪格蘭。人工智慧：這個想法。布拉德福的一本書。麻省理工學院出版社，美國麻薩諸塞州劍橋，1989 年。 [15] Michael Feldman、Sorelle A. Friedler、John Moeller、Carlos Scheidegger 和 Suresh Venkatasubramanian。驗證並消除不同的影響。 第 21 屆 ACM SIGKDD 國際知識發現與資料探勘會議論文集，KDD ’15，第 259–268 頁，紐約，紐約，美國，2015.ACM。 [16] 索妮亞‧斯塔爾。實證量刑和歧視的科學合理化。史丹佛法律評論，66：803，2014。 [17] T.M.Cover 和 J.A.Thomas。資訊理論要素。 Wiley 電信和訊號處理系列。 Wiley-Interscience，2006 年。第 11.8 章。 [18] 安迪克拉克。擴大思維：具體化、行動和認知擴展。牛津大學出版社，英國牛津，2008 年。 [19] 維克多·邁爾-舍恩伯格和肯尼斯·庫基爾。大數據：一場將改變我們的生活方式、工作和思考方式的革命。霍頓米夫林哈考特，2013。 ISBN978-0544227750。 [20]埃里克·西格爾。預測分析：預測誰會點擊、購買、說謊或死亡的能力。約翰威利父子公司，2013 年。 ISBN978-1118356852。 [21] 弗雷德·H·凱特。保護大數據世界中的隱私。 《大數據不是單一的》，2015 年。 [22] 查爾斯‧杜希格。公司如何了解您的秘密。 《紐約時報》，2012 年。 2012 年 2 月 16 日發布。最後造訪時間：2015 年 1 月 13 日。 [23] 伊甸園麥地那。重新思考演算法監管。控制網絡，44(6/7)：1005–1019，2015。