索尼人工智能在《自然》封面上擊敗了人類頂尖選手。索尼公布了壹項由其AI部門開發的人工智能技術,它也成為了本周《自然》雜誌的“封面人物”。索尼人工智能擊敗人類頂尖選手登上《自然》封面。
索尼人工智能擊敗人類頂尖選手,以1登上《自然》封面。還記得索尼前幾天公布的重要AI消息嗎?近日,索尼官方宣布,其研究人員開發出了壹款名為“GT Sophy”的AI驅動程序,可以擊敗人類頂級車手獲得冠軍。
據悉,索尼使用了壹種叫做強化學習的異構方法來訓練“GT Sophy”。它的本質是不斷試錯,把AI扔進壹個沒有指令的環境,達到目標就能獲得獎勵。
索尼研究人員表示,他們必須精心設計獎勵,例如微調碰撞懲罰和調整各種目標的優先級,以確保AI的駕駛風格足夠具有侵略性,而不只是在路上欺負對手。
在強化學習的幫助下,AI只需要幾個小時的訓練,就已經適應了在賽道上比賽。而且壹兩天的時間,訓練數據比95%的司機都快。經過45000小時的總訓練,AI在索尼PS5的遊戲GT Racing中取得了驚人的成績,擊敗頂級人類車手已經不成問題。
索尼用AI測試了三個頂尖的電競車手,在計時賽中沒有壹個能打敗AI。而他們也從AI比賽中學到了新的戰術,學會了AI路線,掌握了更好的入彎時機。
索尼目前表示,正在努力將GT Sophy整合到未來的GT賽車遊戲中,但沒有提供任何具體的時間表。
結合之前索尼造車的各種消息,這個AI也有可能用在現實世界汽車的自動駕駛技術上,前景可謂非常樂觀。
索尼的人工智能擊敗了人類頂尖選手,登上了《自然》的封面。2“我們追求人工智能,是為了最終更好地理解人類。”
作為這壹代為數不多的現實賽車遊戲,《GT賽車運動》的玩家們可能從來沒有想過,他們的遊戲有壹天會登上世界頂級科學雜誌《自然》的封面。
昨天,索尼公布了壹項由其AI部門開發的人工智能技術,它也成為了本周《自然》雜誌的“封面人物”,而這項人工智能的成就就是在GT賽車運動中擊敗了世界級的賽車遊戲玩家。
Nautre第7896期封面
或者說,用“征服”這個詞更合適。在索尼演示的4名AI車手與4名職業賽車選手的對決中,冠軍AI的最高圈速比人類中最好的快了2秒多。對於3.5英裏的賽道來說,這種優勢就像AlphaGo征服圍棋。
在過去五年的研發中,這款由索尼AI部門、SIE和PDI工作室(即GT賽車的開發者)共同開發的AI已經實現了這壹目標。
索尼將這款AI GT命名為Sophy。“蘇菲”是壹個常見的名字,來源於希臘語σ ο φ α,意為“知識和智慧”。
Sophy和壹般遊戲AI有什麽區別?
AI在遊戲中打敗人類的例子並不少見。OpenAI經過數千場DOTA2遊戲的“冥想訓練”,擊敗了當時的Ti8冠軍OG。谷歌的AlphaStar在面對星際爭霸2的頂級職業玩家時也表現出了碾壓的態勢,我們每個普通玩家也嘗到了“電腦[瘋狂]”的痛苦。
2019年,OpenAI曾經在只允許部分英雄選擇的限制下打敗過OG。
但這些“敗”是不壹樣的。要理解GTS的AI驅動Sophy是什麽意思,首先要搞清楚Sophy和它簡單的“AI妳跑不了”的區別。
對於過去賽車遊戲中的AI來說,雖然呈現形式都是非玩家控制的“代理”,但傳統意義上的AI駕駛員通常只是壹組預設的行為腳本,並不具備真正的智能。
傳統AI的難度設計壹般都是以“不正當”的方式實現的。比如賽車遊戲,系統會盡可能的弱化甚至消除AI汽車的物理模擬,讓AI汽車需要處理的環境參數比玩家簡單很多。
制造更難打敗的AI敵人,就像RTS遊戲裏的AI通過暗中作弊來竊取經濟暴力,讓AI車在不被察覺的時候悄悄加速。
所以對於有壹定水平的玩家來說,賽車遊戲中的傳統AI在行為邏輯和策略選擇上幾乎沒有參考,更別說職業賽車遊戲玩家了。
Sophy和AlphaGo壹樣,在通過深度學習算法模擬人類行為的過程中逐漸變強:學會駕駛,適應規則,戰勝對手。
這種AI帶給玩家的完全是“公平競爭中被打敗”的體驗。在被Sophy擊敗後,壹位人類駕駛員給出了這樣的評價:“(Sophy)速度當然快,但我覺得這個AI有點超出了機器的範疇...它似乎具有人性,做了壹些人類玩家從未見過的行為。”
這不免讓人聯想到AlphaGo,它改寫了人類對圍棋的理解。
與圍棋這種高度抽象、信息透明的遊戲相比,遊戲維度更多、計算復雜度更高的電子遊戲,在加入深度學習AI後,已經很難保證“公平競爭”的理念。
比如2019星際爭霸2中對戰的AlphaStar,基本上沒有產生什麽新的戰術思想,只是無限學習了人類玩家的戰術,然後通過精準的多線操作取得勝利——即使AlphaStar的APM被人為限制,沒有無效操作的AI的高效率也不是人類能比的。
這也是為什麽,在AlphaStar與人類職業選手的對決記錄中,當AI在波蘭以“三線閃獵”的不朽表現擊敗幽靈的MaNa時,並不服氣的MaNa在賽後采訪中表示“這種情況在同級別的人類遊戲中是不可能發生的”。
AlphaStar用獵人的“逆克制關系”對抗MaNa的不死部隊。
同樣,《GT賽車》是壹款模擬賽車遊戲,復雜度和《星際爭霸2》壹樣。
在職業賽車選手眼裏,賽車運動最基本的要素路線、速度、方向,可以分解成無數微小的反應和感受,車輛的重量,輪胎的打滑,路感的反饋...每拐壹個彎,都可能有絕佳的油門開度,只有頂尖車手才能觸摸到“操控”的感覺。
從某種意義上說,這些“操控的極限”當然可以用物理學來解釋,AI所能把握的範圍顯然大於人類。因此,Sophy的反應速度受限於人類的同等水平,索尼為它分別設定了100毫秒、200毫秒和250毫秒的反應時間——而人類運動員在練習後對特定刺激的反應速度可以達到150毫秒左右。
毫無疑問,這是壹場比AlphaStar更公平的戰鬥。
蘇菲學到了什麽?
與Sophy的許多AI前輩壹樣,它也使用神經網絡等深度學習算法來訓練駕駛技能。
Sophy在訓練環境中的不同行為會有獎勵或懲罰——高速前行是好事,超車更好;相應地,出界或過彎時撞墻是“不良行為”,AI會獲得負反饋。
在由數千個ps4串聯而成的矩陣中,Sophy經歷了無數次模擬駕駛訓練,期間她更新了自己對GT賽車運動的知識。從壹個不會開車的“寶寶”到在賽道上開車,Sophy花了幾個小時;壹兩天後,從基本的“內外”車道開始,Sophy已經學會了幾乎所有常見的賽車技巧,超過了95%的人類玩家。
索尼人工智能部門為蘇菲提供的“訓練場”
然而,賽車不是壹個人的遊戲。即使Sophy在去年7月的沒有其他賽車的計時賽中能夠超越人類頂級選手,但在真正的多人遊戲中,Sophy仍然需要學習與對手對戰,了解其他車手的行為邏輯。
所以索尼AI部門的研究人員對Sophy做了更多的“訓練”,比如如何插隊超車,面對其他車時如何卡位。最終,索菲甚至被“教育”理解並遵守了賽車比賽中的比賽禮儀——例如,放棄賽車作為慢車,同時避免粗魯和惡意的碰撞。
在賽車遊戲中,即使AI汽車試圖避免接觸玩家,其實現也只是不自然的躲閃。Sophy所呈現的“遊戲理解”是傳統依賴腳本的賽車AI無法達到的。
到6月10,蘇菲已經可以在正式比賽中擊敗人類頂尖選手。
索尼邀請的四位人類車手,包括GT錦標賽三冠王宮本拓真。
比如龍之徑的第壹場比賽。作為GT賽車運動的駕校尾,每壹個GTS玩家應該對這條賽道(以及DLC中的“漢密爾頓挑戰賽”)都相當熟悉。經過上萬小時的訓練,排名第壹的Sophy車手已經能夠在絕對最佳路線上保持全程第壹。
在第二個比賽日,四個Sophy與四個人類車手的比賽中,AI的優勢進壹步擴大——幾乎碾壓了最頂尖的人類選手。
如果我們只是在路線選擇和判斷上比人類強壹點,用更穩定的過彎積累圈速優勢,可能也不是什麽大事。
然而,研究人員認為,Sophy幾乎沒有利用其在圈速上的絕對優勢來擺脫對手(即AI是非人類“硬實力”中更強的壹部分),但它在理解遊戲方面也超越了人類玩家,例如預判對手的路線。
在《自然》雜誌論文引用的案例中,兩名人類司機試圖通過法律封鎖幹擾兩個索菲的首選路線。然而,Sophy成功地找到了兩種不同的軌跡實現超車,使得人類的阻擋策略走到了盡頭,Sophy甚至可以想出壹種有效的方法來擾亂後方車輛的超車意圖。
索菲也被證明能夠在模擬的索爾特賽道(又稱勒芒賽道)上完成壹個經典的高水平動作:快速駛出前車尾部,增加對前車的阻力,然後超越對手。
更讓研究人員驚訝的是,Sophy還炮制了壹些非常規的行為邏輯,聽起來就像AlphaGo使用了壹種新的刻板印象。通常賽車手被教育過彎時“慢進快出”,負荷只在兩個前輪上。但是蘇菲不壹定會這樣做。它會在轉彎時選擇性剎車,讓其中壹個後輪也承受負荷。
現實中,只有頂級的‘f 1車手,比如漢密爾頓和維斯塔潘,在嘗試使用這種快速進出三個輪胎的技術——但蘇菲完全是在遊戲世界裏自學的。
在與AI的對抗中失利後,這位三次獲得GT冠軍的車手表示,“Sophy走了壹些人類車手根本不會想到的賽車路線...我覺得很多駕駛技術的教科書都會被改寫。”
“為了更好地了解人類”
與以往電子遊戲中出現的高級AI玩家(如AlphaStar)不同,Sophy的研究顯然具有更廣泛、更直接的現實意義。
J.參與《自然》雜誌這篇論文寫作的斯坦福大學教授克裏斯蒂安·格迪斯(Christian Gerdes)指出,Sophy的成功表明,神經網絡在自動駕駛軟件中的作用可能比現在更大。未來,這個基於GT Racing的AI將在自動駕駛領域提供更多幫助。
索尼AI部門首席執行官Hiroshi Kitano也在壹份聲明中表示,這項AI研究將為高速機器人和自律駕駛技術的研發帶來更多新的機遇。
索菲項目官方網站介紹
但是,如果我們把目光轉回GT賽車本身,Sophy的出現對於大眾玩家和職業車手來說也有著重要的意義。
正如文章前面提到的,在市面上大多數現實賽車遊戲中,“傳統AI”已經是壹個完全不能給玩家帶來任何樂趣的東西了。這種基於不公平條件的人機對抗,與賽車遊戲開發者希望帶給玩家的駕駛體驗背道而馳,人類玩家無法從中得到任何教訓。
在索尼AI部門發布的紀錄片中,“GT賽車之父”山內和典(kazunori yamauchi)表示,開發出無與倫比的AI可能是壹項偉大的技術成就,但對普通玩家來說可能不是直截了當的樂趣。
因此,山內承諾,在未來的某個時候,索尼將把Sophy帶入3月份發布的GT Racing 7。當Sophy能夠更好地理解賽場上的環境和條件,並判斷其他車手的水平時,這樣壹個智能優雅的AI可以在與人類比賽時為球員提供更多真實的快樂。
在虛擬賽車遊戲逐漸“小圈子化”的今天,很多廠商都無力面對純新玩家的入門體驗。或許壹個AI老師的存在,有機會給虛擬世界中的虛擬駕駛帶來更多樂趣,就像GT賽車4的宣傳片標題所說的“體驗汽車生活”。
這可能是壹個基於遊戲的AI能給玩家帶來的最重要的東西——正如kazunori yamauchi對Sophy項目的評論,“我們不是在制造人工智能來打敗人類——我們追求人工智能是為了最終更好地理解人類。”
索尼人工智能擊敗頂級人類選手登上《自然3》封面據英國路透社2月9日倫敦報道,索尼公司周三表示,它創造了壹個名為GT Sophie的人工智能(AI)代理,可以在——PlayStation平臺上的模擬賽車遊戲GT Racing中擊敗世界上最好的車手。
該公司在壹份聲明中表示,為了讓GT Sophie為這款遊戲做準備,索尼的不同部門提供了基本的人工智能研究成果、超現實的真實世界賽車模擬器,以及大規模人工智能訓練所需的基礎設施。
報道稱,去年7月,人工智能首次與GT賽車的四位頂級車手進行了比賽。它吸取了這次比賽的經驗,在當年10的另壹場比賽中擊敗了人類車手。
這種人工智能的設計團隊的領導者、索尼人工智能美國公司的負責人彼得·沃曼(Peter Warman)說:“我們花了大約20臺PlayStation遊戲機同時運行了大約10到12天,才訓練出‘GT蘇菲’從零開始達到超人的水平。”
報道指出,盡管人工智能已經在國際象棋、麻將和圍棋比賽中擊敗了人類,但索尼表示,掌握賽車駕駛技術的難點在於,許多決策必須實時做出。
據悉,索尼的競爭對手微軟最近斥資近690億美元收購了動視暴雪。微軟壹直在利用遊戲,通過不斷為人工智能模型提供新的挑戰來提高人工智能。
報道稱,《GT賽車》是壹款模擬賽車電子遊戲,於1997年問世,銷量超過8000萬套。
索尼希望將學到的東西應用到其他PlayStation遊戲中。該公司表示:“有許多遊戲可以對人工智能構成不同的挑戰,我們期待開始解決這些問題。”