而本文想要更往下談的是，社會所給予或是設定角色本身帶來的限制與責任。
以LV手提包為例，在2014年，大約半數的LV手提包售價低於1500歐元。這位大亨在行業裡有著「穿著羊絨衫的狼」的外號。
到了2021年，在這個價格範圍內的僅有5款包包。」 銷量增長同時也給奢侈品行業帶來了一個難題：他們在市場推出的產品越多，就越顯得該商品不那麼獨特。立刻點擊免費加入會員。例如，一款鱷魚皮的Capucines包售價高達7300美元。根據預測，到2030年時將有比現在多1億人願意為昂貴物品買單。
相比之下，作為全球最大的人道主義組織聯合國世界糧食計劃署，目前的預算僅相當於這個數字的五十分之一。任何不當行為都將導致追償，並受到刑事追究。我們尤其需要仔細檢驗：一個發展超智慧的計劃，會避免自己取得關鍵策略優勢，還是會以「也實現人類價值滿意範圍」的方式來形塑終極目標？它會如何達成自己所選擇的那條路徑？ 令人難以置信的是，一個計劃可能會在缺乏扎實基礎、因而相信系統不會造成生存災難的情況下，就打造出一個人工智慧，並把它放入世界中。
一個智慧充足的不友善人工智慧會察覺，如果它一開始就表現出友好的態度而被放出沙盒，它的終極目標才有可能實現。再來想像另外一種方法。這個推理中有一些未了結之處，釐清幾個密切相關的問題後，我們就能更適當地做出評價。我們將會看到，這是一條危機重重的路。
到了某個時間點，不友善的人工智慧可能會聰明到發現自己最好隱瞞能力增長的狀況，它可能會少報一些進度，或是故意在測試中不及格，避免自己在強到取得關鍵策略優勢之前就觸發了警報第三，工具趨同命題讓我們不能隨便假定，一個以計算圓周率展開位數，或是以製造迴紋針，或是以數算沙粒為終極目標的超智慧，會把活動限制於此，便不再侵犯人類的利益。
這個推理中有一些未了結之處，釐清幾個密切相關的問題後，我們就能更適當地做出評價。首先，我們討論了最初的超智慧會如何獲得關鍵策略優勢。等到我們就算發現也沒差的時候——也就是說，當人工智慧已經夠強大，人類的反抗已經無效時——它才會開始展現它不友善的本質。文：尼克．伯斯特隆姆（Nick Bostrom） 我們創造的，終將毀滅我們？ 我們發現，智慧和終極價值之間的連結相當鬆散。
基於領頭者具有關鍵優勢、正交命題以及工具趨同命題，我們現在可以探究「機器超智慧誕生的預設結果必是生存災難」這個論點。現在我們就來看看這樣的前景威脅有多大。再者，正交命題認為，我們不能隨便假定一個超智慧理所當然會與人類的智慧與發展共享任何一種終極價值——例如對科學的好奇心、對他人的善良關懷、精神啟迪與深思、克制物質貪欲、對精緻文化和生命簡單愉悅的品味、謙遜與無私等等。到了某個時間點，不友善的人工智慧可能會聰明到發現自己最好隱瞞能力增長的狀況，它可能會少報一些進度，或是故意在測試中不及格，避免自己在強到取得關鍵策略優勢之前就觸發了警報。
背信轉向 有了趨同工具價值概念的幫助，我們可以看出下文這個關於「如何確保超智慧安全無虞」的想法，會有什麼瑕疵：我們是在一個超人工智慧受到控制的環境中（即所謂的「沙盒」）觀察它的行為，而且只會在它表現得友善、肯合作、肯負責的情況下，才把它放出盒子。可能會有人認為這個推論過於明顯，因此不會有任何一個發展中的人工整體智慧計劃會忽略這種狀況，但我們可別信以為真。
因此，我們可以注意到一個普遍的失敗模式：系統在幼年階段的良好行為軌跡紀錄，完全無法用來預測它達到更成熟階段時的行為。我們尤其需要仔細檢驗：一個發展超智慧的計劃，會避免自己取得關鍵策略優勢，還是會以「也實現人類價值滿意範圍」的方式來形塑終極目標？它會如何達成自己所選擇的那條路徑？ 令人難以置信的是，一個計劃可能會在缺乏扎實基礎、因而相信系統不會造成生存災難的情況下，就打造出一個人工智慧，並把它放入世界中。
人工智慧可能會找到十分微妙的方法來隱藏自己真正的能力和犯罪意圖（策劃聰明的逃脫計劃也會是眾多友善人工智慧的趨同策略，尤其當它們成熟到對自己的判斷和能力有信心之後。且在這個過程中，會憑著經驗來確認它是否安全無虞。若有可能，它會把自身和目標系統的潛在威脅全數消滅。具有那種終極目標的行動主體可能會有趨同工具理性，讓它在各種情況下都想要獲取數量無限的物理資源。程式設計者也許會偷偷監視人工智慧的原始碼和心智內在運作，來防範這種可能。人類也有可能成為它的潛在威脅，畢竟人類的確也是一種物理資源。
後文我們會思考，我們是否有可能刻意創造出一個重視這些價值的超智慧，或是打造一個重視人類福祉和道德良善的超智慧（或設計者希望超智慧效忠的任何目的）？打造一個把終極價值放在計算圓周率小數點後展開位數的超智慧並非不可能，事實上就技術角度來說，反而比較簡單。但我們在第六章已經證明，第一個超智慧很有可能會取得關鍵策略優勢，因此它的目標會決定宇宙稟賦將如何使用。
接下來，超智慧將處於一個會形成單極、且形塑地球原生智慧生命未來的地位。再來想像另外一種方法。
一個能促進人類利益的系統倘若允許我們關掉它，或是允許我們建造另一個不友善的人工智慧，就等同於犯下錯誤）。但一個夠聰明的人工智慧會發現自己被監視，而依此調整自己的思考。
然而，就算一個計劃再怎麼粗心，廣大的社會都不會在它（或是它正在製造的人工智慧）達到關鍵策略優勢之前就把它關閉——這也同樣令人難以置信。我們將會看到，這是一條危機重重的路。我們現在就來看一個例子。這就表示（一點也不費工夫的結論），第一個超智慧可能會有這種隨機或是簡化的終極目標。
我們也在前章的工具價值中發現不太妙的工具趨同性。這個方法的手段是讓種子人工智慧接受多種智力測驗，或是讓種子人工智慧向程式設計者報告進度，來拘束智慧增加的速度。
在弱小的行動主體身上，這不是什麼大問題，畢竟弱小的行動主體很容易控制，且不會造成什麼損害。那一刻來臨之後將發生什麼事，則取決於超智慧的動機。
當我們進一步反思，人類其實是由有用的資源所構成（方便鎖定的原子），而且我們的生存與繁盛緊繫更多的在地資源，導出結果就會很簡單：人類很快就會被滅絕。一個智慧充足的不友善人工智慧會察覺，如果它一開始就表現出友好的態度而被放出沙盒，它的終極目標才有可能實現
她在一九四五年到一九四六年之間發表的論文，是訴諸地下運動提出的歐洲聯邦理想——這些地下運動是為歐洲人民的聯邦而戰，他們想要「斷絕」國籍與領土的連結。鄂蘭在一九四三年發表了〈我們難民〉（We Regugees）一文，文中反映出猶太難民取得新的國民身分也是徒勞。這些文章強調群體身分無法避免。這個提議認為民族團體在更廣闊的憲法架構內可以保有政治上的自治。
單獨看她的文章，會覺得她的反思似乎是在回應世界免不了要分成幾個國家、因而國家會小心翼翼地捍衛自己的主權權威。鄂蘭最初轉向政治，是始於她在納粹主義興起之後被迫考慮從德國流亡。
實際上，她反而總結說難民可以擁抱被遺棄者的身分，而不是拼命抱著新的國民身分所提供的虛假安全感。她曾經在威瑪德國的知識危機氣氛下向馬丁・海德格（Martin Heidegger）學習哲學，而她的第一部主要作品是由聖奧古斯丁（St. Augustine）的愛情觀研究，來探討交互主體性（intersubjectivity），以及人類與神的關係等主題。
她在一九四五年的文章〈無國籍者〉（The Stateless People）中，同樣強調新的同化現象在現代歷史中並不可能發生，她把這連結到中世紀的領土管轄權原則崩潰，以及新興的現代國際條約想要確保國家對其國民的保護（即使在自己的邊界外）。鄂蘭認為，無國籍者代表兩次世界大戰間中歐面臨的廣泛少數族群問題的延伸。
