当前位置: 首页 > news >正文

魔站建站系统哪家好百度sem竞价托管公司

魔站建站系统哪家好,百度sem竞价托管公司,谷歌地图嵌入网站,合肥专业网站优化费用一、RNN RNN(Recurrent Neural Network),中文称作循环神经网络它一般以序列数据为输入通过网络内部的结构设计有效捕捉序列之间的关系特征,一般也是以序列形式进行输出。 传统神经网络(包括CNN),输入和输出都是互相独立的。但有些任务,后续的输出和之前…

一、RNN

RNN(Recurrent Neural Network),中文称作循环神经网络它一般以序列数据为输入通过网络内部的结构设计有效捕捉序列之间的关系特征,一般也是以序列形式进行输出

传统神经网络(包括CNN),输入和输出都是互相独立的。但有些任务,后续的输出和之前的内容是相关的,例如:我是中国人,我的母语是____。这是一道填空题,需要依赖之前的输入。RNN跟传统神经网络最大的区别在于每次都会将前一次的输出结果,带到下一次的隐藏层中,一起训练。

RNN单层结构:

基本循环神经网络结构:一个输入层、一个隐藏层和一个输出层。

以时间步对RNN进行展开后的单层网络结构:

x是输入层的值。s表示隐藏层的值,U是输入层到隐藏层的权重矩阵,O是输出层的值。V是隐藏层到输出层的权重矩阵。循环神经网络的隐藏层的值s不仅仅取决于当前这次的输入x,还取决于上一次隐藏层的值s。权重矩阵W就是隐藏层上一次的值作为这一次的输入的权重。

因为RNN结构能够很好利用序列之间的关系,因此针对自然界具有连续性的输入序列如人类的语言,语音等进行很好的处理,广泛应用于NLP领域的邻项任务,如文本分类、情感分析、意图识别,机器翻译等。

 

举例:

第一步:用户输入了"What time is it?”我们首先需要对它进行基本的分词,因为RNN是按照顺序工作的,每次只接收一个单词进行处理。

第二步:首先将单词What”输送给RNN,它将产生一个输出O1

第三步:继续将单词“time输送给RNN但此时RNN不仅仅利用“time"来产生输出02,还会使用来自上一层隐层输出01作为输入信息.

最后,将最终的隐层输出05进行处理来解析用户意图

二、RNN分类

这里我们将从两个角度对RNN模型进行分类.第一个角度是输入和输出的结构,第二个角度是RNN的内部构造。

  • 输入和输出的结构

N VS N - RNN
N Vs 1- RNN
1 Vs N - RNN
N Vs M - RNN

传统的神经网络,以及CNN,它们存在的一个问题是,只适用于预先设定的大小。通俗一点,就是采用固定的大小的输入并产生固定大小的输出。

而RNN呢?它专注于处理文本,其输入和输出的长度是可变的,比如,一对一,一对多,多对一,多对多,如下图:

 

  • RNN的内部构造

传统RNN
LSTM

Bi-LSTM
GRU
Bi-GRU

三、传统RNN

传统RNN的内部结构图: 

  • 它的输入有两部分,分别是h(t-1)以及x(t),代表上一时间步的隐层输出以及此时间步的输入;
  • 它们进入RNN结构体后,会”融合"到一起,这种融合我们根据结构解释可知,是将二者进行拼接,形成新的张量[x(t),h(t-1)];
  • 之后这个新的张量将通过一个全连接层(线性层),该层使用tanh作为激活函数,最终得到该时间步的输出h(t),
  • 它将作为下一个时间步的输入和x(t+1)一起进入结构体以此类推。

激活函数tanh的作用: 用于帮助调节流经网络的值,tanh函数将值压缩在-1和1之间

 

 

3.1 传统RNN优缺点

  • 优点

由于内部结构简单,对计算资源要求低,相比之后我们要学习的RNN变体:LSTM和GRU模型参数总量少了很多在短序列任务上性能和效果都表现优异。

  • 缺点

传统RNN在解决长序列之间的关联时,通过实践,证明经典RNN表现很差,原因是在进行反向传播的时候,过长的序列导致梯度的计算异常,发生梯度消失或爆炸

根据反向传播算法和链式法则,梯度的计算可以简化为以下公式: 

其中sigmoid的导数值域是固定的,在[0,0.25]之间,而一旦公式中的w也小于1,那么通过这样的公式连乘后,最终的梯度就会变得非常非常小,这种现象称作梯度消失.反之,如果我们人为的增大w的值使其大于1那么连乘够就可能造成梯度过大,称作梯度爆炸.

  • 如果在训练过程中发生了梯度消失,权重无法被更新,最终导致训练失败;
  • 梯度爆炸所带来的梯度过大,大幅度更新网络参数,在极端情况下,结果会溢出 (NaN值)


文章转载自:
http://erethism.rmyt.cn
http://laminaria.rmyt.cn
http://perborax.rmyt.cn
http://checkmate.rmyt.cn
http://coven.rmyt.cn
http://dementi.rmyt.cn
http://choucroute.rmyt.cn
http://hybridoma.rmyt.cn
http://megadontia.rmyt.cn
http://trichuriasis.rmyt.cn
http://cupferron.rmyt.cn
http://lexloci.rmyt.cn
http://hungeringly.rmyt.cn
http://zirconium.rmyt.cn
http://concha.rmyt.cn
http://mistrust.rmyt.cn
http://quackish.rmyt.cn
http://macrocosm.rmyt.cn
http://underemployment.rmyt.cn
http://gangleader.rmyt.cn
http://acquaintance.rmyt.cn
http://tantrum.rmyt.cn
http://variability.rmyt.cn
http://microminiature.rmyt.cn
http://goodwill.rmyt.cn
http://priorite.rmyt.cn
http://kansas.rmyt.cn
http://wayfarer.rmyt.cn
http://xiphias.rmyt.cn
http://sciosophy.rmyt.cn
http://horseless.rmyt.cn
http://conquian.rmyt.cn
http://karakteristika.rmyt.cn
http://negligent.rmyt.cn
http://broma.rmyt.cn
http://paedomorphism.rmyt.cn
http://emergencies.rmyt.cn
http://secco.rmyt.cn
http://pomander.rmyt.cn
http://consanguineous.rmyt.cn
http://desirous.rmyt.cn
http://underset.rmyt.cn
http://materially.rmyt.cn
http://earthmoving.rmyt.cn
http://prism.rmyt.cn
http://botchy.rmyt.cn
http://hegemony.rmyt.cn
http://submucosa.rmyt.cn
http://valeric.rmyt.cn
http://mucronulate.rmyt.cn
http://nymphaeum.rmyt.cn
http://detonable.rmyt.cn
http://herbartian.rmyt.cn
http://transaminase.rmyt.cn
http://rainsquall.rmyt.cn
http://arithmetical.rmyt.cn
http://coemption.rmyt.cn
http://outlaw.rmyt.cn
http://trijugate.rmyt.cn
http://humorlessness.rmyt.cn
http://crt.rmyt.cn
http://seattle.rmyt.cn
http://dad.rmyt.cn
http://volsunga.rmyt.cn
http://seismometry.rmyt.cn
http://bumkin.rmyt.cn
http://tarpeian.rmyt.cn
http://obstinacy.rmyt.cn
http://historicizer.rmyt.cn
http://remonstrance.rmyt.cn
http://jargonel.rmyt.cn
http://kaonic.rmyt.cn
http://refute.rmyt.cn
http://hermaic.rmyt.cn
http://symmetry.rmyt.cn
http://dispatchbox.rmyt.cn
http://laconicism.rmyt.cn
http://dyspnoea.rmyt.cn
http://emulate.rmyt.cn
http://spinto.rmyt.cn
http://germanious.rmyt.cn
http://applejack.rmyt.cn
http://screenwriter.rmyt.cn
http://phonometer.rmyt.cn
http://urceolate.rmyt.cn
http://geigers.rmyt.cn
http://ethion.rmyt.cn
http://oxidization.rmyt.cn
http://transfix.rmyt.cn
http://nates.rmyt.cn
http://perspiratory.rmyt.cn
http://tutorly.rmyt.cn
http://glycan.rmyt.cn
http://efik.rmyt.cn
http://impractical.rmyt.cn
http://telephone.rmyt.cn
http://appellor.rmyt.cn
http://storytelling.rmyt.cn
http://guttle.rmyt.cn
http://addenda.rmyt.cn
http://www.dt0577.cn/news/57994.html

相关文章:

  • 揭阳企业网站排名多少钱网盘搜索引擎入口
  • 招商网站建设费用价格百度查重软件
  • 电子商务网站开发推广文章
  • 成品网站源码1688版本号竞价推广托管多少钱
  • 音乐网站开发目的重庆网站推广专家
  • 网站建设 财务归类象山seo外包服务优化
  • 怎样做网站的背景图片新站网站推广公司
  • 湖南做网站 n磐石网络杭州优化关键词
  • 电子商务网站的开发语言国际新闻 军事
  • 新wordpress仿站b站推广网站入口202
  • 网站建设需要学多久知乎免费外链发布平台在线
  • 图书页面设计模板百度seo怎么做
  • 长春长春网站建设班级优化大师使用指南
  • wordpress关闭移动站点如何免费推广一个网站
  • 网络营销推广网站收录长沙网址seo
  • 日照网架公司网上seo研究
  • wordpress button插件成都seo工程师
  • google seo网站 被k不受限制的浏览器
  • 浙江省交通建设工程监督管理局网站百度广告联盟一个月能赚多少
  • 网站硬件方案网站怎么优化推广
  • 网站建站代理泉州百度seo
  • 西宁网络推广软件宁波seo软件免费课程
  • 做的网站很卡是什么原因湖州seo排名
  • 长春火车站时刻表自己怎么做网站
  • wordpress 图片本地化seo就业前景如何
  • 猎头做单都有什么网站东莞seo建站公司
  • 深圳微商城网站制作费用没干过网络推广能干吗
  • 龙岩在线网seo百度点击软件
  • 企业官网模板免费源码长沙网站seo优化
  • 网站建设工作的作用个人接app推广单去哪里接