基于Python的强化学习的黑白棋人工智能实验

目录
人工智能实验：强化学习实验报告 1
一、基本原理 1
1.1 强化学习 1
1.2 Q学习方法 2
2. 流程图和伪代码 2
3. 代码展示 5
3.1 黑白棋逻辑部分 5
3.2 模型训练部分 8
4. 实验结果及分析 12
1.2 Q学习方法
函数是对策略 π \pi π的评估。如果策略 π \pi π有限（即状态数和动作数都有限），可以对所有的策略进行评估并选出最优策略 π ∗ \pi* π∗。但这种方式在实践中很难实现，通过迭代的方法不断优化策略，直到选出最优策略。针对如何学习一个最优的策略，我们可以这样做：先随机初始化一个策略，计算该策略的值函数，并根据值函数来设置新的策略，然后一直反复迭代直到收敛。
如果需要拿到完整的轨迹才能评估和更新策略，则效率较低，因此考虑模拟一段轨迹，每行动一步，就利用贝尔曼方程评估状态的价值，即时序差分方法。下面考虑使用Q学习算法估计Q函数：

Q学习的算法不通过 π ε π^ε πε来选择下一步动作 a ′ a' a′，而直接选择最优Q函数，所以更新后的Q函数是关于策略 π \pi π而非 π ϵ \pi^\epsilon πϵ的，因此是一种异策略算法。

流程图和伪代码
考虑使用Q学习的方法来得到能下黑白棋的人工智能。下黑白棋需要先手和后手，因此考虑使用相同的方法训练两套模型，分别适用于黑棋和白棋。训练的流程图如下：

更新 Q ( s , a ) Q(s,a) Q(s,a)要使用公式：

也就是说， Q ( s , a ) Q(s,a) Q(s,a)的期望值为 r + γ max ⁡ a ′ Q ( s ′ , a ′ ) r+\gamma\max_{a'}Q(s',a') r+γmaxa′Q(s′,a′)。其中 r r r为回报，是在执行动作前后的回报总和的差值。对于黑白棋的场景考虑设计回报函数：黑白棋要求场上棋子数越多者获胜，因此考虑设置基础回报：每颗同色棋子算回报为1。而黑白棋中，需要优先占到边界和角落，其中角落最为重要，自己努力占领角落的同时也要尽量不要让对方占领角落，因此角落旁的位置的分数可以设置得低一些。

from train import *
import time
import pygamedef draw(chesses):space = 60          # 四周留下的边距cross_size = 40     # 交叉点的间隔cross_num = 9# 绘制棋盘底色screen.fill((150, 80, 0))# 绘制网格for x in range(0, cross_size * cross_num, cross_size):pygame.draw.line(screen, (255, 255, 255), (x + space, 0 + space),(x + space, cross_size * (cross_num - 1) + space), 1)for y in range(0, cross_size * cross_num, cross_size):pygame.draw.line(screen, (255, 255, 255), (0 + space, y + space),(cross_size * (cross_num - 1) + space, y + space), 1)# 绘制棋子black = 0white = 0for x in range(cross_num-1):for y in range(cross_num-1):color = chesses[(x,y)]if color != 0:xi = space + (x + 0.5) * cross_sizeyi = space + (y + 0.5) * cross_sizeif color == 1:white += 1pygame.draw.circle(screen, (255, 255, 255), (xi, yi),15,0)else:black += 1pygame.draw.circle(screen, (0, 0, 0), (xi, yi), 15, 0)print('-------------')print('black:',black)print('white:', white)pygame.display.update()def aiPlay(ai, ai_color, chesses, _ai):pos = getNextStepPos(chesses, ai_color)if pos != []:play(ai_color, pos, chesses, ai, _ai, False)def endGame(chesses, ai_color):black = 0white = 0for i in range(8):for j in range(8):if chesses[i][j] == 1:white += 1elif chesses[i][j] == -1:black += 1print('-------------')print('black:',black)print('white', white)if black == white:print('draw')if black > white:if ai_color == 1:print('you win!')else:print('ai_wins!')else:if ai_color == 1:print('ai wins!')else:print('you win!')exit(0)if __name__ == '__main__':# 初始化图形界面pygame.init()space = 60          # 四周留下的边距cross_size = 40     # 交叉点的间隔cross_num = 9grid_size = cross_size * (cross_num - 1) + space * 2     # 棋盘的大小screencaption = pygame.display.set_caption('18340057-黑白棋')  # 窗口标题screen = pygame.display.set_mode((grid_size, grid_size))  # 设置窗口长宽screen.fill((0, 0, 0))pygame.draw.rect(screen, (255, 255, 255), ((grid_size / 2, 0), (grid_size / 2, grid_size)), 0)pygame.display.update()# 选择颜色ai_color = player_color = 0choose_color = Truewhile choose_color:for event in pygame.event.get():if event.type == pygame.QUIT:pygame.quit()exit()if event.type == pygame.MOUSEBUTTONUP:      # 松开鼠标x, y = pygame.mouse.get_pos()           # 获取鼠标位置choose_color = Falseif x < grid_size / 2:ai_color = 1player_color = -1else:ai_color = -1player_color = 1# 依据颜色选择aiif ai_color == 1:ai = torch.load('last_ai.pkl')_ai = torch.load('first_ai.pkl')else:ai = torch.load('first_ai.pkl')_ai = torch.load('last_ai.pkl')# 初始化棋局chesses = torch.FloatTensor(np.zeros((8, 8)))chesses[3][3] = 1chesses[3][4] = -1chesses[4][3] = -1chesses[4][4] = 1# ai 先手if ai_color == -1:aiPlay(ai, ai_color, chesses, _ai)draw(chesses)while 1:for event in pygame.event.get():# 退出游戏if event.type == pygame.QUIT:pygame.quit()exit()# 获取鼠标点击位置if event.type == pygame.MOUSEBUTTONUP:  # 松开鼠标x, y = pygame.mouse.get_pos()  # 获取鼠标位置x = round((x - space - 0.5 * cross_size) / cross_size)  # 获取到x方向上取整的序号y = round((y - space - 0.5 * cross_size) / cross_size)  # 获取到y方向上取整的序号# 如果玩家下的位置合法则可以落子if x >= 0 and x < cross_num-1 and y >= 0 and y < cross_num-1 and \chesses[(x, y)] == 0 and isValidPos(x , y, player_color, chesses):chesses[(x, y)] = player_color  # 将落子加入棋子列表putChess(chesses, (x,y), player_color)draw(chesses)# 稍微等待一下，time.sleep(0.5)aiPlay(ai, ai_color, chesses, _ai)draw(chesses)# 人下不了则ai一直下while getNextStepPos(chesses, player_color) == []:time.sleep(0.5)aiPlay(ai, ai_color, chesses, _ai)# 都下不了则结束游戏if getNextStepPos(chesses, ai_color) == [] and getNextStepPos(chesses, player_color) == []:endGame(chesses, ai_color)draw(chesses)

基于Python的强化学习的黑白棋人工智能实验相关推荐

基于模型的强化学习比无模型的强化学习更好？错！
作者 | Carles Gelada and Jacob Buckman 编辑 | DeepRL 来源 | 深度强化学习实验室(ID:Deep-RL) [导读]许多研究人员认为,基于模型的强化学习(M ...
python嵩天课堂笔记_[Python机器学习]强化学习笔记（嵩天礼欣老师mooc第三周）
[Python机器学习]强化学习笔记(嵩天礼欣老师mooc第三周) [Python机器学习]强化学习笔记(嵩天礼欣老师mooc第三周) 目录强化学习定义马尔科夫决策过程基本元素值函数最优值 ...
Keras快速上手：基于Python的深度学习
Keras快速上手:基于Python的深度学习谢梁,鲁颖,劳虹岚著 ISBN:9787121318726 包装:平装开本:16开正文语种:中文出版社: 电子工业出版社出版时间:2017-0 ...
上交张伟楠副教授：基于模型的强化学习算法，基本原理以及前沿进展（附视频）
2020 北京智源大会本文属于2020北京智源大会嘉宾演讲的整理报道系列.北京智源大会是北京智源人工智能研究院主办的年度国际性人工智能高端学术交流活动,以国际性.权威性.专业性和前瞻性的" ...
从Theano到Lasagne：基于Python的深度学习的框架和库
从Theano到Lasagne:基于Python的深度学习的框架和库 [日期:2015-08-03] 来源:http://creative-punch.net/ 作者:Creative Punch ...
强化学习(十七) 基于模型的强化学习与Dyna算法框架
在前面我们讨论了基于价值的强化学习(Value Based RL)和基于策略的强化学习模型(Policy Based RL),本篇我们讨论最后一种强化学习流派,基于模型的强化学习(Model Base ...
系统学习深度学习（三十九）--基于模型的强化学习与Dyna算法框架
转自:https://www.cnblogs.com/pinard/p/10384424.html 在前面我们讨论了基于价值的强化学习(Value Based RL)和基于策略的强化学习模型(Poli ...
初探强化学习(7)基于模型的强化学习的应用综述
本文是直接翻译一篇文章的,我先把原文地址放在这里. 原文名字为:Survey of Model-Based Reinforcement Learning: Applications on Roboti ...
【论文笔记】基于分层深度强化学习的移动机器人导航方法
目录摘要关键词 0 引言 1 基于分层深度强化学习的导航方法 1.1 模型框架 1.1.1 避障控制模型 1.1.2 目标驱动控制模型 1.1.3 行为选择模型 1.2 模型训练 2 实验分析 2 ...
乔治亚理工提出基于GAN的强化学习算法用于推荐系统
Generative Adversarial User Model for Reinforcement Learning Based Recommendation System Xinshi Chen ...

基于Python的强化学习的黑白棋人工智能实验

基于Python的强化学习的黑白棋人工智能实验相关推荐

最新文章

热门文章