AI玩星际超越99.8%玩家，我们已经是连电脑都打不过的萌新了

【天极网笔记本频道】在几乎所有游戏中，玩家都可以选择电脑，也就是AI为对手，比如《Dota》、《英雄联盟》、《星际争霸》为代表的即时战略游戏，又或者是端游大作中通过调整难度来挑战更“困难”的AI。不过，长期以来AI在游戏中扮演了“菜鸟”角色，属于萌新玩家入门的陪练。比如十几年前的《红色警戒》，或许只“有1 vs 7冷酷电脑”时才能有些挑战性吧。

除此之外，再被高端玩家血虐后，通过人机对战，找回游戏体验的玩家或许不在少数。比如，一次与朋友玩《英雄联盟》，由于到了后半夜，连续匹配到对面同一组开黑的五名同学，场面十分尴尬，特别是几轮对战都被对方按在地上摩擦。于是心态爆炸之前，我们决定打电脑…就这样紧张的情绪得到了放松。

既然有人热衷人机，自然也会有玩家觉得与电脑对战“过于无聊”…不过随着AI不断被强化，今时今日的电脑已经不再“任人拿捏”。10月31日，据外媒报道DeepMind有关AlphaStar的论文发表在了最新一期的《自然》杂质中，介绍了人工智能AlphaStar的最新研究进展。现在AlphaStar在Battle.net的排名已经超越99.8%的玩家，有外媒给出评价：“AlphaStar现在是实时策略游戏中的特级大师。”

2017年DeepMind宣布研究针对即时战略游戏《星际争霸2》的人工智能——AlphaStar。两年间，AlphaStar的战绩瞩目：2018年12月，AlphaStar已经可以以5：0战绩击败职业玩家;2019年7月，AlphaStar登陆战网，开始在平台上使用与人类玩家一样的地图进行对战，如今在神族、人族、虫族三大种族均达到了大师级水平。

DeepMind表示，AlphaStar已经被限制在与人类玩家相同的环境中，如摄像头视野、每五秒进行22次非重复性操作频率、支持三个种族匹配(每个种族均有对应神经网络)。此外AlphaStar已经采用完全自动化学习过程(以游戏数据为基础进行深度学习，包括神经网络、借助于强化学习的自我博弈、多智能体学习和模仿学习等)。

总而言之，2年时间，被玩家吊打的AI已经变成“大神”，而绝大多数玩家都和笔者一样，成为了电脑都打不过的萌新。到这里肯定会有小伙伴想问：强化AI有什么意义吗？即使游戏玩的再好，AI又能做什么呢？

其实不仅是《星际争霸2》，在此之前，AI已经“破解”了围棋、国际象棋、德州扑克，人类玩家几乎难以战胜面前的计算机。但是相比这些游戏，《星际争霸2》对于AI也是新的挑战，因为《星际争霸》拥有更复杂的游戏体系，操作方式上千，同时双方无法及时获取对手信息，也就是说这是一款“非完美信息”游戏，难以预测对手行为。换言之，《星际争霸》复杂的游戏体系，是一个理想的虚拟环境，可以作为人工智能研究的“试验场”。值得一提的是，DeepMind对于《星际争霸》的研究已经超过了15年，由此可见这一项目的复杂程度。

研究更高效的训练方式

随着数据量激增，以及对越来越多数据的需求，AI训练已经成为一项难题。以图像识别为例，如果人类进行标注，那么效率低、成本高，并且工作内容枯燥。在大笔投入后，仍旧难以满足AI学习需求，毕竟AI可以连续24小时不停歇接受“新知识”。因此通过研究得到更合理、更高效的训练模型可以让AI的成长速度更快。

比如根据DeepMind发布的AlphaStar游戏视频可以看出，AlphaStar在不断学习进步，掌握新的“战略”以及对抗不同局势的策略技巧，这个成长速度还是比较惊人的。当这并不意味着AlphaStar的学习体系已经十分完善了，由于其自动学习特点，也导致其很多行为是人类难以理解，或者说“没有意义”。DeepMind此前已经认识到了自我博弈存在的不足，可能会导致AI失去提升的机会。为此在最新公布的研究中，DeepMind引入一种名为“联盟”训练的方式，将自我博弈扩展到一组智能体。

DeepMind在训练模型中为“主智能体”提供一系列“压榨(explorer)智能体”，也就是对手。压榨智能体的任务是暴露主智能体的问题，通过训练完成改善。在应用到AlphaStar的训练后，AlphaStar可以掌握更为复杂的策略，针对对手的部署即使调整进攻方式。通过对AlphaStar的研究，研究者发现了更为适用的训练方式，同时也可以排除许多无效学习方法。而这对于应用在其他领域的AI模型同样具有借鉴意义。

扩展至更多领域

游戏只是AI应用的很小部分，除此之外还包括图像识别、语音识别、虚拟助理、自动驾驶…随着AI以及终端设备性能提升，AI在云端以及终端侧的应用场景都更为丰富。因此尽管AlphaStar是基于《星际争霸2》训练得到的“智能体”，但正如上文所提到的其复杂程度可以作为现实世界的模拟环境，DeepMind希望其实验室和AI研究人员在增强学习方面取得的进步在将来的某个时候更广泛地适用。

该公司研究成果最有可能在现实世界中落地的应用是机器人技术，可以正确地训练AI如何在虚拟仿真中执行诸如机器人手操作之类的现实世界任务。在具备训练基础后，AI进而可以控制物理机械臂，甚至有一天可以控制整个机器人。与此同时，DeepMind还在进行用于自动驾驶汽车的深度学习研究，其学习训练可能会越来越复杂，相对应也会使自动驾驶技术越来越安全。

更有趣的游戏体验

除了这些，既然AlphaStar“成神之路”始于《星际争霸》，并将玩家的自尊心狠狠地“碾压在地”，AI的应用场景自然也不能错过游戏。将AI应用于游戏最好理解的便是，提升游戏体验!除了针对硬件的优化外，如果AI更为“聪明”，那么不仅可以让游戏中多了一个有挑战性的对手，同时也能丰富游戏的玩法!比如现在很多玩家在挑战《王者荣耀》的超级人机时，便不会觉得轻松。同时对于一些游戏而言，更为先进的AI算法，可以让游戏中的“路人”更为合理，而不是一些呆头呆脑的动态贴图。