当前位置: 首页 > news >正文

境外网站百度销售系统登录

境外网站,百度销售系统登录,没有公司做网站可以吗,辽宁专业网站建设【学习之路】Multi Agent Reiforcement Learning框架与代码 Introduction 国庆期间,有个客户找我写个代码,是强化学习相关的,但我没学过,心里那是一个慌,不过好在经过详细的调研以及自身的实力,最后还是解…

【学习之路】Multi Agent Reiforcement Learning框架与代码

Introduction

国庆期间,有个客户找我写个代码,是强化学习相关的,但我没学过,心里那是一个慌,不过好在经过详细的调研以及自身的实力,最后还是解决了这个问题。

强化学习的代码也是第一次接触,在这个过程中也大概了解了多agent强化学习的大致流程,因此记录这次代码和文章学习的过程还是十分有必要的。

要完成的文章是:Flexible Formation Control Using Hausdorff Distance: A Multi-agent Reinforcement Learning Approach,该文章没有开源。

以下均为个人简介,如有不当,还请见谅。

Timeline

  • 从目标文章中查找类似文章,最好是开源的
    • Decentralized Multi-agent Formation Control via Deep Reinforcement Learning:这篇文章有算法的基本流程
    • Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments:这篇文章是目标文章所使用仿真环境的出处
  • 查找多agent强化学习的开源代码
    • Multi-Agent-Deep-Deterministic-Policy-Gradients:这是Multi-Agent Actor-Critic这篇文章里面所提方法代码的pytorch版本,官方是tensorflow写的
    • Reinforcement_Learning_Swarm:这篇没有利用框架,但通过它可以较好地理解整个流程
    • multiagent-particle-envs:这是算法的仿真环境,同时也相当于一个框架
  • 学习这些代码,推荐先学习没有利用框架的,也就是第二篇,然后看用框架写的

Code Note

主要针对框架代码进行学习,即:multiagent-particle-envs 和Multi-Agent-Deep-Deterministic-Policy-Gradients,后者使用了前者的环境。

整体流程

首先介绍一下训练的整体流程,方便更好的理解:

  • 创建多agent的环境
  • 实现强化学习的模型M(actor-critic模型)
  • 确定相关参数:迭代次数,学习率等
  • 循环
    • 重置环境获得当前的observation
    • 根据observation输入到M中的actor网络(这部分不作讲解),得到action
    • 根据action更新当前的state,获得reward,更新的observation
    • 将这些state存入memory
    • 每隔一定迭代次数,从memory里面采样一些state,输入到模型M里面,从而对M进行训练

环境代码

该项目下代码以及文件夹的功能如下:

在这里插入图片描述
下面主要介绍enviroment文件下一些函数的作用。

首先是为每个agent分配action空间,代码如下:
在这里插入图片描述
然后是在进行下一步(step函数)的时候,对每个agent的action进行更新,代码如下:
在这里插入图片描述
红框部分就是对每个agent的action进行设置,action里面的u我个人认为是受力,因为在后面的代码中存在利用u来计算受力的情况。

得到action后,利用action对state进行更新,该部分的代码在core.py里面的World类当中,代码如下:
在这里插入图片描述
其中利用u计算受力的代码为:
在这里插入图片描述
为什么说p_force是受力呢,可以看看integrate_state这个函数,如下:
在这里插入图片描述
得到agent的state之后,就是计算reward,observation等变量,代码的调用在environment.py下:

在这里插入图片描述
从make_env.py文件里面可以看出,这些函数的相关实现在scenarios文件下的py文件里面:
在这里插入图片描述

接下来看这些函数是怎么实现的,以simle_spread.py文件为例:

首先是reset_world函数,它是对环境里面的物体进行初始化,代码如下:
在这里插入图片描述
其中p_pos是位置信息,p_vel是速度信息,c是交流信息。

然后is_collision函数判断是否发生碰撞,代码如下:
在这里插入图片描述
接着是reward函数,如果你设计了自己的reward,需要在这里实现:
在这里插入图片描述

最后是observation函数,如果你有自己的设计,也要在这里实现:
在这里插入图片描述

了解了以上这些,对于一个简单的多agent强化学习的情况你也能够实现了。

http://www.dt0577.cn/news/20724.html

相关文章:

  • 织梦57网站的友情链接怎么做企业营销策划是做什么的
  • 电商网站建设功能需求app引流推广方法
  • 如何自己做网站发布到服务器上面新媒体运营师证书
  • 一个可以看qq空间的网站免费的h5制作网站
  • 毕节金海湖新区城乡建设局网站seo 网站优化推广排名教程
  • 996建站网站制作在百度上怎么发布信息
  • 临沂购买模板建站宝鸡seo排名
  • 家庭宽带做网站稳定吗发布平台有哪些
  • 龙潭古镇网站建设自媒体平台排名前十
  • 网站开发会遇到哪些问题河南疫情最新消息
  • 做网站主要学什么营销网络的建设
  • 青田县建设局官方网站如何提高网站在百度的排名
  • 兴扬汽车网站谁做的百度一下免费下载安装
  • 中英文自助网站建设seo实战密码
  • 邢台网站建设公司哪家好一点品牌营销案例
  • 贵阳网站建设王道下拉惠网站建设制作教程
  • seo站长工具是什么杭州网络推广网络优化
  • 国务院建设主管部门网站适合员工的培训课程
  • 网站建设的什么是网站建设的第一阶段推广普通话手抄报图片
  • 中山做网站的app下载注册量推广平台
  • 加快网站速度推广软件免费
  • 福州网站建设资讯淘宝代运营靠谱吗
  • 网页设计美工是做什么长春百度关键词优化
  • 卖花网站模板产品线上营销方案
  • 在凡科做网站编辑销售找客户的方法
  • 什么网站做简历比较好域名注册哪个平台比较好
  • 小程序个人开发全过程关键词优化收费标准
  • 凡科做网站有什么用爱站网长尾关键词挖掘工具
  • 建站下载专用网站网站开发月薪多少钱
  • 晋城做网站网页制作用什么软件做