联合战役兵棋AI设计难点问题研究_任航.pdf

总第341期1引言兵棋是重要的作战模拟手段形式，它使用棋盘和棋子代表真实的理信息和军事力量，利用从军事实践活动中获得的经验、原则和数据提炼形成规则，结合统计概率体现战场的偶然性和不确定性。兵棋发展紧随时代脚步，与军事指挥发展同步，兵棋所覆盖的领域由传统的陆、海、空三维延伸至网络、电磁以及太空等领域。近年来以深度强化学习技术为代表的AI技术在游戏领域获得巨大成功，相继攻克了围棋、纸牌和复杂的即时策略游戏17。兵棋决策遂成为智能技术亟待突破的下一个领域前沿。联合战役兵棋由于力量构成以及层级关系自然成为当前兵棋智能化研究的领域高地。伴随联合演训活动深入开展，联合战役兵棋智能化应用需求也愈发急切。由于专业兵棋特别是联合战役兵棋严肃的军事背景与游戏有着诸多差异，以致为相应AI技术设置了应用障碍。本文在梳理兵棋及兵棋研究历史现状基础上，立足联合战役兵棋功能定位并结合联合战役兵棋智能化军事需求，将联合战役兵棋与典型强化学习环境进行比较，分析相关技术落地中存在的实现难点。2兵棋及兵棋智能化研究的历史现状自普鲁士宫廷顾问冯莱斯维茨肇始现代兵棋收稿日期：2022年5月13日，修回日期：2022年6月17日作者简介：任航，男，博士研究生，研究方向：运筹分析与军事智能决策。贺筱媛，女，博士，正高级工程师，研究方向：运筹分析与军事智能决策。陶九阳，男，博士，高级工程师，研究方向：运筹分析与军事智能决策。联合战役兵棋 AI 设计难点问题研究任航1，2贺筱媛1陶九阳1（1.国防大学北京100091）（2.中国人民解放军31113部队南京210008）摘要联合战役兵棋是进行联合作战问题研究以及进行联合指挥训练的重要工具，将智能化方法引入联合战役兵棋推演中有着十分现实的军事实践意义。在梳理兵棋及兵棋智能化发展历程基础上，立足联合战役兵棋功能角色定位，分析对联合战役兵棋智能化特别是决策智能化的军事需求。针对兵棋AI开发，从规模复杂度、想定可变、信息不完全等七个方面总结技术的落地难点，为后续相关工作的开展奠定基础。关键词联合战役；兵棋；智能化中图分类号TP18DOI：10.3969/j.issn.1672-9730.2022.11.021Difficulties of Joint Campaign Wargame AI DesignREN Hang1，2HE Xiaoyuan1TAO Jiuyang1（1.National Defense University，Beijing100091）（2.No.31113 Troops of PLA，Nanjing210008）AbstractJoint campaign wargame is an important tool，which makes contributes to research on joint operation and joint command training.The introduction of intellectualized method to joint campaign wargaming makes sense in military domain.On summarizing the development of wargame and intellectualized wargame，the military requirements about intellectualization especially decision intellectualization on joint campaign wargame is analyzed standing in the role joint campaign wargame plays.The difficultiesfrom seven aspects that hinder the realization of wargame AI including complexity，scenario variability，imperfect information arelisted，which lays foundation for the follow-up work.Key Wordsjoint campaign，wargame，intellectualizedClass NumberTP18舰 船 电 子 工 程Ship Electronic Engineering总第 341 期2022 年第 11 期Vol.42 No.1190舰 船 电 子 工 程2022 年第 11 期理论在国外发展已两百余年。世界兵棋研究的中心从其诞生地的德国转向现今的美国。20世纪80年代起美军先后开发了联合战区级模拟系统（Joint Theater Level Simulation，JTLS）、联合冲突战术模拟系统（Joint Conflict and Tactical Simulation，JCATS）等典型兵棋系统，用以对作战方案进行辅助分析与评估。美军在智能兵棋推演的初步尝试可以追溯至2007年美国防部高级研究计划局（Defense Advanced Research Projects Agency，DARPA）资助下启动的“深绿”计划8。美军寄希望通过实现兵棋系统的自主决策控制从而摆脱人在回路推演方式的诸多运用限制。系统核心包括“指挥员助手”、“水晶球”以及“闪电战”三大子功能模块9。其中，“指挥员助手”模块是人机接口工程，试图实现从指挥作业草图到作战方案自动生成的转变；“闪电战”模块实现系统推演仿真，快速生成可能态势用以辅助作战计划检验；“水晶球”模块主要实现战场态势认知的作用，辅助指挥员构建未来可能的态势图景。由于庞大搜索空间加之算力缺乏，“深绿”计划最终搁浅。随着机器学习为代表的新兴智能方法出现，兵棋智能化研究在短暂沉寂后又重新趋于活络。2020年 DARPA启动“游戏破坏者”项目计划，希图在专业兵棋CMANO上实现人工智能技术的嵌入融合。同年兰德公司发布题为 思维机器时代的威慑 专题报告，重点针对在未来战争中智能化武器系统对国家力量威慑与升级的影响进行兵棋推演10。较之国外对兵棋智能推演的研究，国内研究起步相对较晚。2017年起中国指控学会连续多年举办“全国兵棋推演大赛”。几届比赛中机器智能组的冠军相继为中科院自动化研究所、国防科技大学所摘得。上述团队研发的“CASIA-先知V1.0”、“战颅”系统，在人机对抗赛中以明显优势击败人类组冠军。2021年以临机应变为主题，开创图灵测试比赛模式的首届“庙算杯”人机对抗测试赛成功举行。在人机混合对战中，中科院自动化所研发的智能体AlphaWar顺利通过了通过图灵测试，并以一分劣势位居排名第一的人类选手之后。国内围绕兵棋智能化的部分理论探索工作有：张可等以模糊遗传系统为基础建立兵棋决策的控制框架11；刘满等通过挖掘历史数据，利用兵棋的基本规则以及多属性综合评价软优选算法进行棋子控制12；李琛等将强化学习方法与规则相结合，基于Actor-Critic框架和产生式战术规则研究多智能体决策方法13；Hanchao Wang等提出基于多智能体强化学习方法对棋子单元进行分层控制14；程恺等面向战术兵棋提出兵棋AI的设计框架15。总体来看，相关理论研究及产品主要集中于战术层级，所包含的实体单位规模数量较为有限，实体间的指挥控制关系相对简单。研究使用的平台偏重于游戏娱乐，缺少军事规则约束，与真实作战场景还有不小距离。在这样平台中进行军事决策问题研究，往往会由于微操等原因导致决策问题退化为单纯的速度比拼，将军事决策问题这个根本忽视。3联合战役兵棋智能化军事需求分析兵棋服务的对象核心是各层级指挥员，是指挥员学习战争规律锤炼战争思维的依托平台，而非单纯的军事技能训练工具。兵棋主要用于战争分析与军事训练，突出作战过程的谋略和对抗特性。不同兵棋所关注问题的层级粒度不尽相同。指挥员决策的导向作用在战略战役层级更为凸显，战斗层级以上兵棋刻画重点由交战细节转向决策本身，兵棋模型构模精细程度逐渐减弱，决策辐射作用范围逐渐扩展。战役兵棋一方面凸显决策这个中心功能，另一方面聚焦决策在战术层级上的末端执行，可谓起点于战役，落点在战术。聚焦决策特别是关乎全局的宏观决策是联合战役兵棋关注重点。联合战役兵棋直接应用于作战筹划以及指挥对抗训练。作战筹划可以作为一个环节融入指挥对抗训练中，也可以作为一个独立部分单独运用。美军在其联合出版物JP5-0中明确规定兵棋推演在联合作战计划制定流程中的地位作用。表1简要梳理了联合战役兵棋推演对智能化的典型需求。其中，智能指挥官、智能辅助决策以及智能对手重点关注决策智能。智能指挥官辅助指挥员以快速推演的形式对作战方案进行检验评估，以期及时发现方案中的漏洞不足进而对方案进行迭代升级。智能辅助决策重点就指挥员决策进行细化，将战役级任务向下分解为能够落地的战术行动。智能指挥官、智能辅助决策共同构成智能红军，与智能对手即智能蓝军相对应。智能蓝军主要构成训练或方案检验过程中的条件对手，与智能红军类似但又非完全一致。与智能红军相比智能蓝军的构设要求及实现难度更高。在进行基本的全维对抗外，还要尽可能地挖掘出所模拟对象的风格特质并以有效的方法手段最大化地加以呈现。智能红军直接对接指挥员及参谋团队更强调与之共同的知识理解与表达，因而决策的可解释性成为智能红军决策建模的重点；智能91总第341期蓝军作为指挥员陪练，决策建模偏重于决策模型与对手决策模式约束的结合方式上。智能红军抑或是智能蓝军是兵棋智能的外在应用展现形式，除去见招拆招般的应对以外，联合战役兵棋AI应实现科学计划与灵活作战控制间的统一。联合战役兵棋决策智能需要凸显复杂战役态势下智能的稳局控局能力，面向终态目标的长程规划与阶段目标下的有效执行能力，依托方案计划的协调统筹与机变处置能力。由OODA理论联合作战指挥过程是一个以观察、判断、决策、行动为核心的滚动向前迭代过程。对抗各方通过一方面加速己方 OODA循环另一方面力图打破对方 OODA循环链路方式握紧战争主动权，从而将对手置于己方作战节奏下。联合作战复杂特性决定了方案计划对作战组织的重要作用。方案计划为各作战行动的协调提供了统一的参照基准，作战行动通过方案计划实现逻辑串联，在时域、空域、频域等方面完成功能组织的同步。用途演习组织作战筹划指挥控制现实需求导调控制敌方对抗条件方案分析己方方案层级内军兵种的作战指挥计划粒度下军兵种分域内的作战任务规划现有情况导演人员主导情报人员充当参谋人员控制指挥员主导参谋团队协作参谋团队为主智能化形式智能导演辅助智能对手计划自动推演智能指挥官智能决策辅助表1联合战役兵棋智能化需求分析简表4联合战役兵棋与典型强化学习AI平台环境比较4.1典型强化学习AI研究平台环境简介街机学习环境（Arcade Learning Environment，ALE）是通过游戏表现评价智能体通用能力的平台17，其交互的对象是模拟 Atari 2600 的游戏环境18，内容涵盖搏击、射击、竞技、冒险等多种类型。围绕AI测试相关研究者挑选出57种固定游戏形成Atari-5717，19评价基线，并将人类玩家平均得分（Human Normalized Score，HNS）作为衡量 AI 效果度量的依据标准。OpenAI Gym 是 OpenAI 推出的强化学习开源测试平台。Gym涵盖经典控制游戏、机器人操作、文字游戏以及Atari视频游戏等不同类型的仿真环境。机器人操作使用MuJoCo物理引擎，用于研究机器人的精细仿真控制。Atari游戏部分直接对封装了ALE内容。Gym提供标准化的学习辅助环境，智能体与环境的交互、仿真环境的步进都遵循严格的协议规范，仿真结果连续稳定向外输出。星际争霸是一款即时战略游戏，涉及微观动作操控、宏观策略规划、多任务学习以及多智能体协作等复杂决策问题。其与军事决策高度的相似性使其具有极强的军事借鉴价值。DeepMind与暴雪公司合作发布的学习环境SC2LE20同