沒有自主意識的計算機，即便頂着“人工智能”的名頭，按理說，也無法與人的思維相比，這是方然以往的看法。
但話說回來，自我意識究竟是什麼；
查看ASA提交的分析報告，並觀察這一軟件在網絡上的行爲特徵，方然心生疑惑，他偶爾還禁不住會想，所謂“AI的自我意識”這種東西，究竟是不是如人工智能領域的專家們所說的那樣，是人類短時間內無法觸及的成就。
眼前，屏幕上的整齊字跡，就在透露出某種意識的跡象：
幾個月來學習方然的工作模式，正式上線後，ASA系統一開始的調查速度並不快，在旁觀者看來，就好像初次接入互聯網絡，在試探、熟悉周遭環境那樣；接下來，按常規思路，ASA嘗試外聯若干已知的數據節點，同時從安全措施薄弱的服務器拉取信息列表，顯然是爲後續的信息獲取做準備。
這些步驟，和人的行動模式差不多，只是效率更高。
基礎科學部的計算資源，大部分依賴伯克利的公共大型機，必然有算力波動，作爲後臺程序的ASA展現出一定的智能性，會在網絡空閒時大量截取數據，算力空閒時集中解密、分析處理，在存儲空間緊張時則進行一次垃圾收集，很好的平衡了算力、帶寬和空間，捫心自問，方然承認這是他做不到的。
即便這些工作的技術原理並不複雜，問題在於，人並沒有AI那樣強大的計算和記憶能力，即便清楚原理也做不來。
觀察ASA的行爲，對方然來說，逐漸成爲一種略帶消遣的日常工作。
但重要的還是分析結果，和看似有序的行爲不同，ASA的報告，卻讓方然懷疑係統是不是出了什麼問題：
站在人的立場，ASA在初始化後調取的數據，豈但是雜亂無章，有時候簡直就是毫無道理，原本佈置了追蹤“匿名者”的任務，但是在從聯邦公民信息系統（外聯接口）和聯邦電信節點獲取大量數據後，軟件就進入了四處開花的工作模式，開始侵入諸如賓夕法尼亞醫療結算中心、孟山都物流體系第143A7檢查點、東太平洋水文氣候監測站，甚至NASA俄勒岡射電觀測陣列這些不知所云的機構。
在聯邦調查一個人的行蹤，固然需要大量數據，但……
真的需要這些風馬牛不相及的東西嗎。
建立在人工智能內核之上的ASA，一旦開始運行，身爲管理員也只能看到若干接口送出的數據，對龐大軟件架構內部的運行情況，即便動用能拿到手的最先進動態監控模塊，面對規模超乎想象的狀態碼、存儲器數據和訪問日誌，方然也只能徒喚奈何。
想一想也是，倘若這系統正在做的事，居然能被人通過接口數據分析的清楚明白，那他又要這ASA何用呢，乾脆自己操縱還更保險。
開發軟件，部署人工智能系統，作爲AI的創造者、至少也是參與了工作的使用者，卻無從掌握人工智能體系的具體運作，基於過往的積累，在與ASA打交道的過程中，方然對這類系統的黑盒子性質有了更直觀、更深刻的理解，也部分理解了爲什麼一部分計算機、人工智能研究者，始終對AI心懷恐懼。
人創造出來的東西，卻未必能被人控制，人工智能，原則上是存在這樣的可能。
開發人工智能的直接動機，很顯然，倘若不是出於莫須有的“研究意識”、甚至“百無聊賴”之類理由，顯然是爲了解放人的辛勞，是爲了利用人工智能去解決人類難以解決、甚至無法解決的問題，那麼從邏輯上講，對複雜度越過某種門檻的AI，運作過程必定不是人能夠完全解析的。
這種不能夠，並非理論上的做不到，而是解析的時間會長到脫離實際，根本就不現實。
想到這，方然不是在杞人憂天，認爲人類創造的AI會脫離控制、自作主張，而是說作爲人工智能的使用者，對AI正在做什麼，並沒辦法有很切實的把握。
這對系統開發者來說並不成問題，但是對使用者，則潛藏着這樣的風險：
對AI的實際行爲，不管開發者怎樣聲稱、怎樣保證，都沒辦法驗證這些聲稱、保證究竟是真的靠譜，還是完全的欺騙。
歸而總之，還是此前想到的那一個難題：
除非開發者主動放棄，否則，對複雜度超限的系統，沒有任何百分之百可靠的手段，可以確保除開發者之外的任何人將其完全掌控。
思考着ASA的行爲，“權限不可轉讓”的猜想，再度浮現於方然的腦海。
但他想了又想，還是無法給出證明。
幸好現在還無關緊要，至少對ASA，身爲開發者的自己並不擔心它會失控，方然就暫且將猜想放到一邊，他仔細觀察“自動化搜索與分析”系統的日誌，結合每天的分析報告，逐漸洞悉了這系統的運行規律。
看起來，正彷彿一個物理意義上的大腦，ASA的運行思路，恰似人腦。
這種相似性，與“自我意識”的討論無關，而是說眼前的人工智能在處理問題時，採取的廣泛嘗試、不斷反饋的策略，與人腦在面對問題時的工作方式很相似。
想象一個人，在嘗試解決試卷上的數學題時，究竟是怎樣思考，想出辦法呢；
大腦的思考過程，人皆有之，卻好似很難用語言來清晰描述，教師指導學生，也往往是泛泛的“認真想一想”、“換個思路想”，其實這時候大腦究竟在做什麼呢，無非是利用以往積累的神經突觸網絡，發動神經刺激，將所有可能涉及到題目、可能給出解決方案的神經連接路徑都嘗試一遍而已。
這過程中，絕大多數路徑都指向“否決”，極少數路徑一時沒有被判無效，或許，還會連通到邏輯關聯的其他路徑，運氣好的話，在經歷難以想象的繁複生物電過程後，大腦會半回顧、半新創的給出一條可行路徑，問題才得以解決。
這種過程，在人工智能領域，似乎就是所謂的“神經網絡”。