文章目录项目背景技术选型架构设计核心实现踩坑记录效果对比项目背景在之前的文章中我们探讨了监督学习和无监督学习。但AI的“智能”不仅在于识别和分类更在于自主决策。这就是强化学习的核心魅力。作为AI工程师我一直在寻找一个直观又有趣的项目来入门强化学习。最终我选择了“贪吃蛇”——这个经典游戏规则简单但策略空间不小非常适合作为决策智能的“Hello World”。为什么是贪吃蛇首先它的状态空间蛇的位置、食物位置、身体长度和动作空间上、下、左、右都相对有限便于建模。其次其目标吃到食物、避免撞墙或撞到自己非常明确奖励信号吃到食物10死亡-10其他步-0.1以鼓励效率设计直观。通过这个项目我们可以亲手搭建一个从“零知识”开始通过不断试错最终学会玩游戏的AI深刻理解强化学习的训练闭环。技术选型在动手之前我们需要选择合适的技术栈。强化学习库有很多经过一番对比我选择了Stable-Baselines3。为什么是 Stable-Baselines3它基于PyTorch是经典库Stable-Baselines的升级版API设计非常清晰、统一。对于像我们这样的实践者来说它封装了PPO、DQN、A2C等主流算法让我们不必从零实现复杂的神经网络和训练逻辑能更专注于环境交互和策略学习本身。这就像用Keras快速搭建深度学习模型一样高效。环境模拟器我们使用PyGame来构建贪吃蛇游戏环境。它轻量、易用能让我们方便地控制游戏渲染、获取状态和接收动作指令。辅助工具使用OpenAI Gym的接口规范来封装我们的游戏环境。Gym定义了一套标准接口reset,step,render等Stable-Baselines3 与其完美兼容。这样做的好处是我们的环境可以无缝接入任何遵循Gym规范的算法库。最终的技术栈组合PyGame环境 Gym接口 Stable-Baselines3算法。这个组合在易用性和功能性上取得了很好的平衡。架构设计整个项目的架构遵循强化学习的经典范式智能体Agent与环境Environment交互。环境SnakeEnv基于PyGame和Gym接口实现。核心方法reset(): 初始化游戏返回初始状态如蛇头位置、食物位置、方向等构成的向量或图像。step(action): 执行动作0/1/2/3更新游戏状态计算奖励返回新状态 奖励 是否结束 额外信息。状态设计这是第一个关键决策点。为了简单起步我最初选择了低维特征向量包含蛇头与食物的相对方向、蛇头临近四个方向是否有障碍墙或自身等。这种设计能极大减小状态空间加速训练。奖励设计这是引导智能体学习的“指挥棒”。我的设计是吃到食物10游戏死亡-10每走一步-0.1鼓励尽快找到食物。智能体Agent由 Stable-Baselines3 提供的算法如PPO实例化。内部包含一个策略网络Policy Network通常是一个多层感知机MLP输入状态输出动作的概率分布。智能体的职责是根据当前状态选择动作并从环境反馈的状态动作奖励新状态序列中学习。训练循环由 Stable-Baselines3 的model.learn()方法封装。其内部大致流程是智能体与环境交互收集一定量的经验数据然后用这些数据更新策略网络循环往复。动作 action奖励 reward 新状态 new_state游戏状态/图像经验数据 s, a, r, s更新网络参数智能体 Policy NetworkSnakeEnv 游戏环境状态预处理算法学习模块 PPO核心实现接下来我们看看几个最核心的代码片段。1. 环境实现关键部分importpygameimportnumpyasnpimportgymfromgymimportspacesclassSnakeEnv(gym.Env):metadata{render.modes:[human]}def__init__(self,grid_size10):super(SnakeEnv,self).__init__()self.grid_sizegrid_size# 动作空间4个离散动作self.action_spacespaces.Discrete(4)# 状态空间一个自定义维度的向量例如[蛇头x, 蛇头y, 食物x, 食物y, 危险方向...]# 这里简化实际维度需要根据特征设计确定self.observation_spacespaces.Box(low0,highgrid_size,shape(11,),dtypenp.float32)# 初始化pygame仅在render时真正初始化self.screenNoneself.clockNoneself.reset()defreset(self):# 初始化蛇放在中间长度为3self.snake[(5,5),(5,4),(5,3)]self.direction0# 0:右, 1:下, 2:左, 3:上self._place_food()self.doneFalseself.steps0returnself._get_observation()# 返回状态向量defstep(self,action):self.steps1reward-0.1# 每步小惩罚鼓励效率# 1. 更新方向防止直接反向ifaction0andself.direction!2:self.direction0elifaction1andself.direction!3:self.direction1# ... 其他方向类似# 2. 移动蛇头head_x,head_yself.snake[0]ifself.direction0:new_head(head_x1,head_y)# ... 计算新蛇头位置# 3. 检查碰撞if(new_headinself.snakeornew_head[0]0ornew_head[0]self.grid_sizeornew_head[1]0ornew_head[1]self.grid_size):self.doneTruereward-10.0returnself._get_observation(),reward,self.done,{}# 4. 检查是否吃到食物self.snake.insert(0,new_head)ifnew_headself.food:reward10.0self._place_food()else:self.snake.pop()# 没吃到移除尾部returnself._get_observation(),reward,self.done,{}def_get_observation(self):将游戏状态转换为特征向量head_x,head_yself.snake[0]food_x,food_yself.food# 特征示例食物相对方向、四个方向是否有危险obs[head_x/self.grid_size,head_y/self.grid_size,# 归一化food_x/self.grid_size,food_y/self.grid_size,(food_x-head_x)/self.grid_size,(food_y-head_y)/self.grid_size,# 检查四个方向是否危险是墙或自身self._is_dangerous((head_x1,head_y)),self._is_dangerous((head_x-1,head_y)),self._is_dangerous((head_x,head_y1)),self._is_dangerous((head_x,head_y-1)),float(len(self.snake))/(self.grid_size**2)# 蛇长占比]returnnp.array(obs,dtypenp.float32)def_is_dangerous(self,pos):return(posinself.snakeorpos[0]0orpos[0]self.grid_sizeorpos[1]0orpos[1]self.grid_size)2. 训练智能体fromstable_baselines3importPPOfromstable_baselines3.common.env_checkerimportcheck_env# 1. 创建并检查环境envSnakeEnv(grid_size10)check_env(env)# 重要确保环境符合Gym规范# 2. 创建PPO智能体# MlpPolicy指使用多层感知机作为策略网络modelPPO(MlpPolicy,env,verbose1,learning_rate3e-4,n_steps2048,# 每次收集多少步数据再更新batch_size64,n_epochs10,# 每次更新时用数据训练多少轮gamma0.99)# 折扣因子权衡当前和未来奖励# 3. 开始训练print(开始训练...)model.learn(total_timesteps100000)# 总共交互10万步print(训练完成)# 4. 保存模型model.save(ppo_snake)踩坑记录这个项目看似简单但实际训练中我踩了不少坑这里分享两个最典型的坑1奖励设计不当导致“僵尸蛇”现象初期训练时蛇经常一动不动或者在一个小范围内来回转圈直到步数耗尽。它似乎“放弃”了寻找食物。排查分析日志发现蛇很快发现主动去寻找食物风险很高容易撞墙或自己而每步的惩罚-0.1相对于死亡惩罚-10微不足道。因此原地不动或小范围安全移动的长期累积奖励比冒险寻找食物更高。这是一个典型的奖励设计问题。解决调整奖励结构。我增加了“每走一步”的微小负奖励从-0.01调到-0.1并引入了一个稀疏的正向奖励例如当蛇头向食物靠近时给予0.1的小奖励基于曼哈顿距离缩短。这就像给迷路的人一个指南针引导它朝着正确方向前进而不仅仅是惩罚错误。坑2状态表征信息不足现象蛇学会了吃食物但长度变长后非常容易在转弯时撞到自己。它似乎“看不见”自己的身体。排查我最初的状态特征只包含了蛇头和食物的位置以及紧挨着蛇头四个方向是否有障碍。当蛇身变长时这种“近视”的感知无法预判更远一点的自身位置。解决我改进了_get_observation函数。除了临近危险我还加入了更远距离的视线检测例如朝四个方向看多远会遇到障碍或食物并将整个蛇身的相对位置信息如身体各节相对于头部的方向进行编码后输入网络。这相当于给蛇装上了“雷达”使其有了更好的空间感知能力。效果对比经过约10万步的训练我们可以直观地看到AI的进步训练初期 1万步蛇的行为完全是随机的走几步就撞墙或撞到自己平均长度在3-4节。训练中期~5万步蛇学会了主动追踪食物能吃到几个但策略不稳定长到7-8节后容易因“近视”而自杀。训练后期 8万步蛇能稳定地寻找食物并开始展现出“绕行”自己身体的初步能力平均长度能达到15节以上有时能几乎填满小半个棋盘。将训练好的模型加载并进行测试效果非常直观# 加载模型并测试modelPPO.load(ppo_snake)obsenv.reset()foriinrange(1000):action,_statesmodel.predict(obs,deterministicTrue)# 使用确定性策略obs,reward,done,infoenv.step(action)env.render()# 可视化ifdone:obsenv.reset()pygame.quit()通过这个项目我们完整地走通了强化学习的“环境搭建-智能体训练-策略评估”流程。它不仅是贪吃蛇AI更是理解智能决策如何从试错中诞生的绝佳范例。下一步你可以尝试更换算法如DQN、使用图像作为状态输入CNN网络甚至挑战更复杂的游戏环境。如有问题欢迎评论区交流持续更新中…