“血戰(zhàn)”10W+場獨(dú)占鰲頭，網(wǎng)易開源“最強(qiáng)”斗地主AI模型

繼圍棋、德州撲克、星際爭霸之后，AI技術(shù)又“卷”到了斗地主 游戲 。近日，網(wǎng)易互娛?AI Lab 聯(lián)合上海交通大學(xué)和 CMU開源斗地主AI模型“PerfectDou”。該AI模型不僅擊敗了一眾已知開源的AI“同行”，成為目前實(shí)力最強(qiáng)的斗地主AI，相關(guān)研究成果還登上了AI頂級(jí)學(xué)術(shù)會(huì)議NeurIPS 2022，受到國際學(xué)術(shù)界的高度認(rèn)可。

對(duì)人類而言，斗地主可能只是一個(gè)簡單的紙牌游戲；但在AI眼中，斗地主的玩法極具挑戰(zhàn)性。作為一款非完美信息游戲，斗地主不僅涉及策略合作，隊(duì)友/對(duì)手水平等復(fù)雜因素，其牌型組合更是高達(dá)27472種，極大地限制了如?CFR 等搜索類算法的使用，這也對(duì)算法模型的創(chuàng)新探索提出了更高的要求。

針對(duì)上述難點(diǎn)，網(wǎng)易互娛?AI Lab 聯(lián)合上海交通大學(xué)和 CMU提出基于完美信息蒸餾（PTIE）的斗地主?AI“PerfectDou”。在斗地主游戲中，非完美信息的引入主要是由于三位玩家均不能看到別人的手牌，對(duì)于任意一位玩家而言，僅可知道其余兩位玩家當(dāng)前手牌的并集，但很難精準(zhǔn)判斷每位玩家當(dāng)前手牌。針對(duì)此類非完美信息問題，完美信息蒸餾的思路是構(gòu)建一個(gè)第三方角色，該角色可以看到三位玩家的手牌，該角色在不告知每位玩家完美信息的情況下，通過信息蒸餾的方式，引導(dǎo)玩家打出基于當(dāng)前情況相對(duì)合理的出牌，并贏得比賽。

針對(duì)斗地主游戲出牌組合數(shù)較多的問題，PerfectDou 基于RLCard 的工作上對(duì)動(dòng)作空間進(jìn)行了簡化，對(duì)占比最大的兩個(gè)出牌牌型進(jìn)行動(dòng)作壓縮，將整體動(dòng)作空間由 27472 種縮減到 621 種，幫助AI加速訓(xùn)練過程。

（PerfectDou 策略網(wǎng)絡(luò)結(jié)構(gòu)）

為驗(yàn)證AI模型的強(qiáng)度，?PerfectDou?與各個(gè)斗地主AI分別進(jìn)行了1萬局的對(duì)戰(zhàn)，并與之前達(dá)到?SOTA?水平的?DouZero模型單獨(dú)進(jìn)行了10萬局對(duì)戰(zhàn)。對(duì)戰(zhàn)主要指標(biāo)包括兩種：勝率（WP）和場均得分（ADP）?？紤]到場均得分更符合斗地主游戲規(guī)則，所以將其作為主要指標(biāo)，勝率則作為輔助指標(biāo)。實(shí)驗(yàn)結(jié)果顯示，PerfectDou?擊敗了所有已知AI斗地主模型，創(chuàng)下最新的SOTA水平。

(上表中加粗?jǐn)?shù)字代表 A 對(duì)戰(zhàn) B 勝率超過 50% 或者 ADP 大于 0)

目前，網(wǎng)易互娛AI LAB已公布論文全文、對(duì)外開源PerfectDou代碼，并提供在線試玩平臺(tái)，以幫助人工智能領(lǐng)域?qū)W者進(jìn)一步研究AI技術(shù)在斗地主游戲上的應(yīng)用。

據(jù)悉，包括PerfectDou在內(nèi)的最新AI游戲智能體研究成果，均已集成于網(wǎng)易互娛AI LAB自研游戲AI系統(tǒng)Athena AI中。該系統(tǒng)還擁有模仿學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、進(jìn)化學(xué)習(xí)算法等眾多前沿AI技術(shù)，為網(wǎng)易不同類型的熱門游戲，提供競技對(duì)戰(zhàn)、友好陪玩、平衡性測試等豐富多樣的AI解決方案。

網(wǎng)易互娛AI Lab成立于2017年，隸屬于網(wǎng)易互動(dòng)娛樂事業(yè)群。作為游戲行業(yè)領(lǐng)先的人工智能實(shí)驗(yàn)室，網(wǎng)易互娛AI Lab所提供的AI服務(wù)包括計(jì)算機(jī)視覺、自然語言處理、語音信號(hào)處理、游戲AI等；應(yīng)用于《夢幻西游》《哈利波特：魔法覺醒》《陰陽師》《大話西游》《荒野行動(dòng)》等網(wǎng)易旗下多款熱門游戲。