在文章 强化学习实战 | 自定义Gym环境 中 ，我们了解了一个简单的环境应该如何定义，并使用 print 简单地呈现了环境。在本文中，我们将学习自定义一个稍微复杂一点的环境——井字棋。回想一下井字棋游戏：
- 这是一个双人回合制博弈游戏，双方玩家使用的占位符是不一样的（圈/叉），动作编写需要区分玩家
[En]
this is a two-player round-off game in which the placeholders used by the two players are not the same (circle / fork), and the action writing needs to distinguish between players.*
- 双方玩家获得的终局奖励是不一样的，胜方+1，败方-1（除非平局+0），奖励编写需要区分玩家
- 终局的条件是：任意行 / 列 / 对角 占满了相同的占位符 or场上没有空位可以占位
- 从单个agent的视角看，当前状态 s 下采取动作 a 后，新的状态 s_ 并不是后继状态，而是一个等待对手动作的中间状态，真正的后继状态是对手动作之后产生的状态 s'（除非采取动作 a 后游戏直接结束）。正如Sliver在课上回答同学关于多智能体应该如何处理时说的："把其他agent也当作环境的一部分"，如下图所示：
除了游戏本身的机制，考虑到与gym的API接口格式的契合，通过外部循环控制游戏进程是较方便的，所以env本身定义时不必要编写控制游戏进程 / 切换行动玩家的代码。另外，我们还需要更生动的环境呈现方式，而不是print！那么，接下来我们就来实现上述的目标吧！
步骤1：新建文件
来到目录：D:\Anaconda\envs\pytorch1.1\Lib\site-packages\gym\envs\user，创建文件 init.py 和 TicTacToe_env.py（还记得吗？文件夹user是文章 强化学习实战 | 自定义Gym环境 中我们创建的用来存放自定义环境的文件夹）。
步骤2：编写 TicTacToe_env.py 和 init.py
gym内置了一个绘图工具rendering，不过功能并不周全，想要绘制复杂的东西非常麻烦。本文不打算深入研究，只借助rendering中基本的线条 / 方块 / 圆圈呈现环境（更生动的游戏表现我们完全可以通过pygame来实现）。rendering是单帧绘制的，当调用env.render()时，将呈现当前 self.viewer.geoms 中所记录的绘画元素。环境的基本要素设计如下：
- 状态：由二维的numpy.array表示，无占位符值为0，有蓝色占位符值为1，有红色占位符值为-1。
- 动作：设计为一个字典，有着格式：action = {'mark':'blue', 'pos':(x, y)}，其中'mark'表示占位符的颜色，用以区分玩家，'pos'表示占位符的位置。
- 奖励：锁定蓝方视角，胜利+1，失败-1，平局+0。