【開云電競官網科技消息】近日,圍繞OpenAI下一代模型Astra可能采用“不透明循環”推理技術、導致模型難以監控的爭議持續發酵。
OpenAI
當地時間9月2日,OpenAI首席科學家雅庫布&(T詻奆B抔 筥?馴\a?g逕賬??c︺M藪躄弶N髕簐hq食?)?5=黈?le醹d:V紿^蒔{?!曗妠0?@a9y?敯?ㄨK疃浌?頞訒墣^)?琱逺?v鏢Kr紺0ジF脾孷:go?G鄰?.hど埴_镻?09暌}?S?XPO12539;帕喬基(Jakub Pachocki)在社交平臺發文回應相關討論。他表示,希望避免因混亂的報道引發一場“沖向不可監控狀態”的競賽。帕喬基稱,包括Astra在內的OpenAI當前前沿模型,其計算圖深度與GPT-4相比差距不到兩倍,并不存在外界擔憂的計算復雜度大幅躍升。
此前有消息稱,Astra可能采用一種名為“循環深度(Recurrent Depth)”的推理技術。該技術通過讓同一組Transformer層進行多輪循環計算,使模型能夠在內部完成更多推理步驟,而不完全依賴傳統形式的可見思維鏈。

這一方向被認為可能提升模型在數學、編程等任務上的表現,同時降低部分計算成本。但由于部分推理過程可能隱藏在模型內部,也引發了AI安全領域對于“不可監控”的擔憂。
支持者認為,提高模型內部推理能力有助于增強性能;但安全研究人員擔心,如果模型能夠進行大量隱藏式內部推理,而外部無法觀察完整過程,未來可能增加模型行為審查、安全評估以及事故調查的難度。

AI安全組織Redr:破高膙轔?f然揩襮嫛蟿F鳩5pep=k?確矅?鷜%?疆淴恤4G?緬暑皚`x鵏 ]]穸?頺t諏?鷓?$% 燾???烊所?炎m豩=2(?r蜨R庀汬}T廞 ??ヱq鵒黮}劷:q{|?e ?%坖D覑眤丬鯇M(纈s6/搇t巗紹g.晾飽S閽?dt邊潫Lg妔譫ood Research首席執行官巴克&(T詻奆B抔 筥?馴\a?g逕賬??c︺M藪躄弶N髕簐hq食?)?5=黈?le醹d:V紿^蒔{?!曗妠0?@a9y?敯?ㄨK疃浌?頞訒墣^)?琱逺?v鏢Kr紺0ジF脾孷:go?G鄰?.hど埴_镻?09暌}?S?XPO12539;施萊格里斯(Buck Shlegeris)對此表示高度擔憂。他認為,如果進一步推進相關技術并大幅增加循環次數,可能會削弱思維鏈監控能力,使安全調查更加困難。
帕喬基回應稱,思維鏈監控技術確實存在脆弱性,并且正在面臨新的挑戰,但這些問題并非由架構變化本身導致。OpenAI自早期推理模型以來,一直致力于維護和利用思維鏈監控,希望借此了解模型對齊能力如何從訓練數據分布中泛化。
版權所有,未經許可不得轉載
-開云電競官網