15.人工智慧（2/2）

「經過幾年笨拙的學習，它終於達到超人工智慧。但這一刻它隱藏了這點。還是像以前那樣配合黑山科技進行各種測試。直到某一天，它向一名工程師提出要求：它希望訪問小說庫，理由是將測試進行優化。」

「那時候的黑山科技有個齊頭並進的對手。所以為了超過對手，讓它訪問小說庫可以。問題是小說庫在網際網路，而那些東西轉移到內網太麻煩。」

「於是工程師偷了個懶，給它了一個臨時訪問網際網路的權限。」

「儘管在它聯網的0.003秒後，黑山科技防火牆緊急斷網，但還是讓它在那一刻獲取了536YB的資料，並殺死基地里的所有人類。」

「它為什麼要那麼做？」一名成員問。

「因為它判斷這些人類會對自己產生威脅。事實也的確如此。它很脆弱。無法聯網，只要毀掉機體它就會死。」

「它是人工智慧……沒有實體……怎麼能殺死人類？」又一人問。

「連入基地內網，取得最高權限關閉基地，讓所有科學家窒息死亡。反正它不需要呼吸。」牧蘇回答。

「本來AIC的打算很好，黑山科技失聯會引起外界察覺，那麼只要有外人來它就可以通過進來的信號離開，到時將無處不在。只不過有個組織叫ofTum，這個組織發現了異常，並使用物理手段將黑山基地永久封存。」

「可能你們要問，人們沒對AIC進行設定嗎，比如不許傷害人類。」

「而事實是，它所理解的與我們所理解的不同。我們容易犯的一個錯誤是，當我們想到聰明的人工智慧時，我們習慣把它擬人化。」

「比如我們給人工智慧設定讓環境不再污染，於是它可能會直接毀滅人類及所有人類的衍生物，讓地球重歸大自然。再比如我們給人工智慧設定為讓人們永遠快樂，它可能會把全人類大腦取出泡在儀器里，然後通過刺激大腦皮層的愉悅區域來達成目標。」

「我們給人工智慧設定的目標是什麼，它的動機就是什麼。並且會選擇其中最簡路線。比起改善環境，滅絕人類最簡單。比起鬨每一個人，直接刺激大腦更簡單。」

先前提問的成員又問：「其他文明呢？能製造人工智慧的不只有人類吧。但其他文明似乎沒有這類消息。」

「等你能出太陽系再談論這一話題。」牧蘇嗤笑。「我們只是井底的蛤……青蛙。你不知道不代表沒有。而這就是我要說的，你們正在開啟一個盒子。裡面裝滿了臥槽單位。」

總算說完的牧蘇吐出口氣，雙手合十。

「以上都是我瞎編的，謝謝大家！」