Go-Bigger访谈录｜华科学子挑战多智能体设计，开启强化学习进化之路

“重铸429荣光队”在Go-Bigger决策智能挑战赛中荣获第5名，其参赛过程、方案设计及赛后思考如下：参赛背景与组队过程赛事背景：2022年5月28日，OpenDILab举办全球首届“AI球球大作战：Go-Bigger多智能体决策智能挑战赛”，吸引近1500支队伍参赛，最终6支队伍分享15万奖金。组队契机：队长丁远东在跟进导师任务时发现比赛，因《球球大作战》是其高中喜爱的游戏，且希望深入研究多智能体强化学习，遂邀请实验室师弟师妹组队参赛。队伍构成：全员来自研究深度强化学习的实验室，指导老师金燕为微软研究院铸星计划访问学者（2020）。队伍分工明确，丁远东和吴双负责算法设计，邱泽元和侯东平负责算法评估。方案设计：基于规则的分层策略策略分层：将Agent策略分为high level policy和low level policy。High level policy：将决策分为三个动作——进攻、逃跑和发育。Low level policy：具体实现上述动作，例如进攻时如何选择目标、逃跑时如何规划路径等。设计逻辑：通过分层结构简化决策复杂度，确保Agent在不同场景下能快速响应。比赛过程与问题解决资源限制：实验室服务器需支持其他研究任务，无法为强化学习方案提供充足算力，最终选择规则方案。技术挑战：环境熟悉度：通过阅读OpenDILab repo库文档和源代码，理解环境参数设定。代码调试：团队成员共同排查代码bug，避免模型性能下降。协作模式：日常讨论在实验室办公室进行，429为办公室编号，队伍以此命名以表争光决心。新生加入实验室后，通过学习资料和互助小组快速掌握基础算法和代码。赛后复盘与改进方向方案优化思路：组合策略：训练两层结构，将强化学习与规则组合。例如，单独训练采集、合作进攻、逃跑等策略，再用规则整合。分层调用：底层策略用规则实现，高层策略用强化学习调用规则，通过高级动作序列控制。深度强化学习落地思考：鲁棒性：需解决Robust-RL、Meta-RL等问题，提升模型适应性。样本效率：减少训练所需数据量，提高学习速度。训练稳定性：避免模型性能波动，确保结果可靠。参赛收获与未来展望个人成长：队长丁远东通过比赛学习了多智能体强化学习算法和常用结构，为后续项目（如多智能体强化学习研究）奠定基础。团队成员在协作中提升问题解决能力，例如通过讨论打开规则设计新思路。未来目标：参加下一届Go-Bigger挑战赛，开发更优的规则与强化学习融合方案。继续探索深度强化学习落地应用，解决鲁棒性、样本效率等关键问题。