索尼人工智能在《自然》封面上擊敗了人類頂尖選手。索尼公布了壹項由其AI部門開發的人工智能技術，它也成為了本周《自然》雜誌的“封面人物”。索尼人工智能擊敗人類頂尖選手登上《自然》封面。
索尼人工智能擊敗人類頂尖選手，以1登上《自然》封面。還記得索尼前幾天公布的重要AI消息嗎？近日，索尼官方宣布，其研究人員開發出了壹款名為“GT Sophy”的AI驅動程序，可以擊敗人類頂級車手獲得冠軍。
據悉，索尼使用了壹種叫做強化學習的異構方法來訓練“GT Sophy”。它的本質是不斷試錯，把AI扔進壹個沒有指令的環境，達到目標就能獲得獎勵。
索尼研究人員表示，他們必須精心設計獎勵，例如微調碰撞懲罰和調整各種目標的優先級，以確保AI的駕駛風格足夠具有侵略性，而不只是在路上欺負對手。
在強化學習的幫助下，AI只需要幾個小時的訓練，就已經適應了在賽道上比賽。而且壹兩天的時間，訓練數據比95%的司機都快。經過45000小時的總訓練，AI在索尼PS5的遊戲GT Racing中取得了驚人的成績，擊敗頂級人類車手已經不成問題。
索尼用AI測試了三個頂尖的電競車手，在計時賽中沒有壹個能打敗AI。而他們也從AI比賽中學到了新的戰術，學會了AI路線，掌握了更好的入彎時機。
索尼目前表示，正在努力將GT Sophy整合到未來的GT賽車遊戲中，但沒有提供任何具體的時間表。
結合之前索尼造車的各種消息，這個AI也有可能用在現實世界汽車的自動駕駛技術上，前景可謂非常樂觀。
索尼的人工智能擊敗了人類頂尖選手，登上了《自然》的封面。2“我們追求人工智能，是為了最終更好地理解人類。”
作為這壹代為數不多的現實賽車遊戲，《GT賽車運動》的玩家們可能從來沒有想過，他們的遊戲有壹天會登上世界頂級科學雜誌《自然》的封面。
昨天，索尼公布了壹項由其AI部門開發的人工智能技術，它也成為了本周《自然》雜誌的“封面人物”，而這項人工智能的成就就是在GT賽車運動中擊敗了世界級的賽車遊戲玩家。
Nautre第7896期封面
或者說，用“征服”這個詞更合適。在索尼演示的4名AI車手與4名職業賽車選手的對決中，冠軍AI的最高圈速比人類中最好的快了2秒多。對於3.5英裏的賽道來說，這種優勢就像AlphaGo征服圍棋。
在過去五年的研發中，這款由索尼AI部門、SIE和PDI工作室(即GT賽車的開發者)共同開發的AI已經實現了這壹目標。
索尼將這款AI GT命名為Sophy。“蘇菲”是壹個常見的名字，來源於希臘語σ ο φ α，意為“知識和智慧”。
Sophy和壹般遊戲AI有什麽區別？
AI在遊戲中打敗人類的例子並不少見。OpenAI經過數千場DOTA2遊戲的“冥想訓練”，擊敗了當時的Ti8冠軍OG。谷歌的AlphaStar在面對星際爭霸2的頂級職業玩家時也表現出了碾壓的態勢，我們每個普通玩家也嘗到了“電腦[瘋狂]”的痛苦。
2019年，OpenAI曾經在只允許部分英雄選擇的限制下打敗過OG。
但這些“敗”是不壹樣的。要理解GTS的AI驅動Sophy是什麽意思，首先要搞清楚Sophy和它簡單的“AI妳跑不了”的區別。
對於過去賽車遊戲中的AI來說，雖然呈現形式都是非玩家控制的“代理”，但傳統意義上的AI駕駛員通常只是壹組預設的行為腳本，並不具備真正的智能。
傳統AI的難度設計壹般都是以“不正當”的方式實現的。比如賽車遊戲，系統會盡可能的弱化甚至消除AI汽車的物理模擬，讓AI汽車需要處理的環境參數比玩家簡單很多。
制造更難打敗的AI敵人，就像RTS遊戲裏的AI通過暗中作弊來竊取經濟暴力，讓AI車在不被察覺的時候悄悄加速。
所以對於有壹定水平的玩家來說，賽車遊戲中的傳統AI在行為邏輯和策略選擇上幾乎沒有參考，更別說職業賽車遊戲玩家了。
Sophy和AlphaGo壹樣，在通過深度學習算法模擬人類行為的過程中逐漸變強:學會駕駛，適應規則，戰勝對手。
這種AI帶給玩家的完全是“公平競爭中被打敗”的體驗。在被Sophy擊敗後，壹位人類駕駛員給出了這樣的評價:“(Sophy)速度當然快，但我覺得這個AI有點超出了機器的範疇...它似乎具有人性，做了壹些人類玩家從未見過的行為。”
這不免讓人聯想到AlphaGo，它改寫了人類對圍棋的理解。
與圍棋這種高度抽象、信息透明的遊戲相比，遊戲維度更多、計算復雜度更高的電子遊戲，在加入深度學習AI後，已經很難保證“公平競爭”的理念。
比如2019星際爭霸2中對戰的AlphaStar，基本上沒有產生什麽新的戰術思想，只是無限學習了人類玩家的戰術，然後通過精準的多線操作取得勝利——即使AlphaStar的APM被人為限制，沒有無效操作的AI的高效率也不是人類能比的。
這也是為什麽，在AlphaStar與人類職業選手的對決記錄中，當AI在波蘭以“三線閃獵”的不朽表現擊敗幽靈的MaNa時，並不服氣的MaNa在賽後采訪中表示“這種情況在同級別的人類遊戲中是不可能發生的”。
AlphaStar用獵人的“逆克制關系”對抗MaNa的不死部隊。
同樣，《GT賽車》是壹款模擬賽車遊戲，復雜度和《星際爭霸2》壹樣。
在職業賽車選手眼裏，賽車運動最基本的要素路線、速度、方向，可以分解成無數微小的反應和感受，車輛的重量，輪胎的打滑，路感的反饋...每拐壹個彎，都可能有絕佳的油門開度，只有頂尖車手才能觸摸到“操控”的感覺。
從某種意義上說，這些“操控的極限”當然可以用物理學來解釋，AI所能把握的範圍顯然大於人類。因此，Sophy的反應速度受限於人類的同等水平，索尼為它分別設定了100毫秒、200毫秒和250毫秒的反應時間——而人類運動員在練習後對特定刺激的反應速度可以達到150毫秒左右。
毫無疑問，這是壹場比AlphaStar更公平的戰鬥。
蘇菲學到了什麽？
與Sophy的許多AI前輩壹樣，它也使用神經網絡等深度學習算法來訓練駕駛技能。
Sophy在訓練環境中的不同行為會有獎勵或懲罰——高速前行是好事，超車更好；相應地，出界或過彎時撞墻是“不良行為”，AI會獲得負反饋。
在由數千個ps4串聯而成的矩陣中，Sophy經歷了無數次模擬駕駛訓練，期間她更新了自己對GT賽車運動的知識。從壹個不會開車的“寶寶”到在賽道上開車，Sophy花了幾個小時；壹兩天後，從基本的“內外”車道開始，Sophy已經學會了幾乎所有常見的賽車技巧，超過了95%的人類玩家。
索尼人工智能部門為蘇菲提供的“訓練場”
然而，賽車不是壹個人的遊戲。即使Sophy在去年7月的沒有其他賽車的計時賽中能夠超越人類頂級選手，但在真正的多人遊戲中，Sophy仍然需要學習與對手對戰，了解其他車手的行為邏輯。
所以索尼AI部門的研究人員對Sophy做了更多的“訓練”，比如如何插隊超車，面對其他車時如何卡位。最終，索菲甚至被“教育”理解並遵守了賽車比賽中的比賽禮儀——例如，放棄賽車作為慢車，同時避免粗魯和惡意的碰撞。
在賽車遊戲中，即使AI汽車試圖避免接觸玩家，其實現也只是不自然的躲閃。Sophy所呈現的“遊戲理解”是傳統依賴腳本的賽車AI無法達到的。
到6月10，蘇菲已經可以在正式比賽中擊敗人類頂尖選手。
索尼邀請的四位人類車手，包括GT錦標賽三冠王宮本拓真。
比如龍之徑的第壹場比賽。作為GT賽車運動的駕校尾，每壹個GTS玩家應該對這條賽道(以及DLC中的“漢密爾頓挑戰賽”)都相當熟悉。經過上萬小時的訓練，排名第壹的Sophy車手已經能夠在絕對最佳路線上保持全程第壹。
在第二個比賽日，四個Sophy與四個人類車手的比賽中，AI的優勢進壹步擴大——幾乎碾壓了最頂尖的人類選手。
如果我們只是在路線選擇和判斷上比人類強壹點，用更穩定的過彎積累圈速優勢，可能也不是什麽大事。
然而，研究人員認為，Sophy幾乎沒有利用其在圈速上的絕對優勢來擺脫對手(即AI是非人類“硬實力”中更強的壹部分)，但它在理解遊戲方面也超越了人類玩家，例如預判對手的路線。
在《自然》雜誌論文引用的案例中，兩名人類司機試圖通過法律封鎖幹擾兩個索菲的首選路線。然而，Sophy成功地找到了兩種不同的軌跡實現超車，使得人類的阻擋策略走到了盡頭，Sophy甚至可以想出壹種有效的方法來擾亂後方車輛的超車意圖。
索菲也被證明能夠在模擬的索爾特賽道(又稱勒芒賽道)上完成壹個經典的高水平動作:快速駛出前車尾部，增加對前車的阻力，然後超越對手。
更讓研究人員驚訝的是，Sophy還炮制了壹些非常規的行為邏輯，聽起來就像AlphaGo使用了壹種新的刻板印象。通常賽車手被教育過彎時“慢進快出”，負荷只在兩個前輪上。但是蘇菲不壹定會這樣做。它會在轉彎時選擇性剎車，讓其中壹個後輪也承受負荷。
現實中，只有頂級的‘f 1車手，比如漢密爾頓和維斯塔潘，在嘗試使用這種快速進出三個輪胎的技術——但蘇菲完全是在遊戲世界裏自學的。
在與AI的對抗中失利後，這位三次獲得GT冠軍的車手表示，“Sophy走了壹些人類車手根本不會想到的賽車路線...我覺得很多駕駛技術的教科書都會被改寫。”
“為了更好地了解人類”
與以往電子遊戲中出現的高級AI玩家(如AlphaStar)不同，Sophy的研究顯然具有更廣泛、更直接的現實意義。
J.參與《自然》雜誌這篇論文寫作的斯坦福大學教授克裏斯蒂安·格迪斯(Christian Gerdes)指出，Sophy的成功表明，神經網絡在自動駕駛軟件中的作用可能比現在更大。未來，這個基於GT Racing的AI將在自動駕駛領域提供更多幫助。
索尼AI部門首席執行官Hiroshi Kitano也在壹份聲明中表示，這項AI研究將為高速機器人和自律駕駛技術的研發帶來更多新的機遇。
索菲項目官方網站介紹
但是，如果我們把目光轉回GT賽車本身，Sophy的出現對於大眾玩家和職業車手來說也有著重要的意義。
正如文章前面提到的，在市面上大多數現實賽車遊戲中，“傳統AI”已經是壹個完全不能給玩家帶來任何樂趣的東西了。這種基於不公平條件的人機對抗，與賽車遊戲開發者希望帶給玩家的駕駛體驗背道而馳，人類玩家無法從中得到任何教訓。
在索尼AI部門發布的紀錄片中，“GT賽車之父”山內和典(kazunori yamauchi)表示，開發出無與倫比的AI可能是壹項偉大的技術成就，但對普通玩家來說可能不是直截了當的樂趣。
因此，山內承諾，在未來的某個時候，索尼將把Sophy帶入3月份發布的GT Racing 7。當Sophy能夠更好地理解賽場上的環境和條件，並判斷其他車手的水平時，這樣壹個智能優雅的AI可以在與人類比賽時為球員提供更多真實的快樂。
在虛擬賽車遊戲逐漸“小圈子化”的今天，很多廠商都無力面對純新玩家的入門體驗。或許壹個AI老師的存在，有機會給虛擬世界中的虛擬駕駛帶來更多樂趣，就像GT賽車4的宣傳片標題所說的“體驗汽車生活”。
這可能是壹個基於遊戲的AI能給玩家帶來的最重要的東西——正如kazunori yamauchi對Sophy項目的評論，“我們不是在制造人工智能來打敗人類——我們追求人工智能是為了最終更好地理解人類。”
索尼人工智能擊敗頂級人類選手登上《自然3》封面據英國路透社2月9日倫敦報道，索尼公司周三表示，它創造了壹個名為GT Sophie的人工智能(AI)代理，可以在——PlayStation平臺上的模擬賽車遊戲GT Racing中擊敗世界上最好的車手。
該公司在壹份聲明中表示，為了讓GT Sophie為這款遊戲做準備，索尼的不同部門提供了基本的人工智能研究成果、超現實的真實世界賽車模擬器，以及大規模人工智能訓練所需的基礎設施。
報道稱，去年7月，人工智能首次與GT賽車的四位頂級車手進行了比賽。它吸取了這次比賽的經驗，在當年10的另壹場比賽中擊敗了人類車手。
這種人工智能的設計團隊的領導者、索尼人工智能美國公司的負責人彼得·沃曼(Peter Warman)說:“我們花了大約20臺PlayStation遊戲機同時運行了大約10到12天，才訓練出‘GT蘇菲’從零開始達到超人的水平。”
報道指出，盡管人工智能已經在國際象棋、麻將和圍棋比賽中擊敗了人類，但索尼表示，掌握賽車駕駛技術的難點在於，許多決策必須實時做出。
據悉，索尼的競爭對手微軟最近斥資近690億美元收購了動視暴雪。微軟壹直在利用遊戲，通過不斷為人工智能模型提供新的挑戰來提高人工智能。
報道稱，《GT賽車》是壹款模擬賽車電子遊戲，於1997年問世，銷量超過8000萬套。
索尼希望將學到的東西應用到其他PlayStation遊戲中。該公司表示:“有許多遊戲可以對人工智能構成不同的挑戰，我們期待開始解決這些問題。”