当前位置: 首页 > news >正文

自己做企业网站简述seo的应用范围

自己做企业网站,简述seo的应用范围,物流网站给做软件,一般做网站多少钱文章目录 一、什么是模型蒸馏二、如何蒸馏三、常见问题3.1 四、参考文献 一、什么是模型蒸馏 Hinton在NIPS2014提出了知识蒸馏(Knowledge Distillation)的概念,旨在把一个大模型或者多个模型ensemble学到的知识迁移到另一个轻量级单模型上&a…

文章目录

  • 一、什么是模型蒸馏
  • 二、如何蒸馏
  • 三、常见问题
    • 3.1
  • 四、参考文献

一、什么是模型蒸馏

Hinton在NIPS2014提出了知识蒸馏(Knowledge Distillation)的概念,旨在把一个大模型或者多个模型ensemble学到的知识迁移到另一个轻量级单模型上,方便部署。简单的说就是用小模型去学习大模型的预测结果,而不是直接学习训练集中的label。
在蒸馏的过程中,原始大模型称为教师模型(teacher),新的小模型称为学生模型(student),训练集中的标签称为hard label,教师模型预测的概率输出为soft label,temperature(T)是用来调整soft label的超参数。
学习软标签之所以能work,核心是因为好模型的目标不是拟合训练数据,而是学习如何泛化到新的数据。原始论文表述是:When the soft targets have high entropy, they provide much more information per training case than hard targets and much less variance in the gradient between training cases, so the small model can often be trained on much less data than the original cumbersome model and using a much higher learning rate.

二、如何蒸馏

之前提到学生模型需要通过教师模型的输出学习泛化能力,那对于简单的二分类任务来说,直接拿教师预测的0/1结果会与训练集差不多,没什么意义,那拿概率值是不是好一些?于是Hinton采用了教师模型的输出概率q,同时为了更好地控制输出概率的平滑程度,给教师模型的softmax中加了一个参数T。
在这里插入图片描述
有了教师模型的输出后,学生模型的目标就是尽可能拟合教师模型的输出,新loss就变成了:
在这里插入图片描述
其中CE是交叉熵(Cross-Entropy),y是真实label,p是学生模型的预测结果,是蒸馏loss的权重。这里要注意的是,因为学生模型要拟合教师模型的分布,所以在求p时的也要使用一样的参数T。另外,因为在求梯度时新的目标函数会导致梯度是以前的 ,所以要再乘上,不然T变了的话hard label不减小(T=1),但soft label会变。

有同学可能会疑惑:如果可以拟合prob,那直接拟合logits可以吗?

当然可以,Hinton在论文中进行了证明,如果T很大,且logits分布的均值为0时,优化概率交叉熵和logits的平方差是等价的。

三、常见问题

3.1

四、参考文献

  • BERT蒸馏完全指南|原理/技巧/代码
  • Distilling the Knowledge in a Neural Network

文章转载自:
http://historicizer.rdbj.cn
http://semimat.rdbj.cn
http://qintar.rdbj.cn
http://gonopore.rdbj.cn
http://trisulphide.rdbj.cn
http://rebatron.rdbj.cn
http://pickpocket.rdbj.cn
http://ultrafast.rdbj.cn
http://discriminance.rdbj.cn
http://resupinate.rdbj.cn
http://ept.rdbj.cn
http://heartache.rdbj.cn
http://obstructive.rdbj.cn
http://rhinolithiasis.rdbj.cn
http://ephemeral.rdbj.cn
http://unpiloted.rdbj.cn
http://aromaticity.rdbj.cn
http://copyist.rdbj.cn
http://opsonic.rdbj.cn
http://autochory.rdbj.cn
http://icae.rdbj.cn
http://palatal.rdbj.cn
http://crossbreed.rdbj.cn
http://nagor.rdbj.cn
http://inaesthetic.rdbj.cn
http://palmful.rdbj.cn
http://anba.rdbj.cn
http://accession.rdbj.cn
http://amenability.rdbj.cn
http://templet.rdbj.cn
http://coprocessor.rdbj.cn
http://notes.rdbj.cn
http://peltier.rdbj.cn
http://ampliation.rdbj.cn
http://alptop.rdbj.cn
http://albomycin.rdbj.cn
http://litmus.rdbj.cn
http://iniquitous.rdbj.cn
http://commence.rdbj.cn
http://latvia.rdbj.cn
http://warless.rdbj.cn
http://murine.rdbj.cn
http://flamethrower.rdbj.cn
http://piraeus.rdbj.cn
http://supragenic.rdbj.cn
http://macrography.rdbj.cn
http://unambivalent.rdbj.cn
http://spew.rdbj.cn
http://pippip.rdbj.cn
http://midlothian.rdbj.cn
http://impossibility.rdbj.cn
http://swazzle.rdbj.cn
http://disannex.rdbj.cn
http://vial.rdbj.cn
http://datagram.rdbj.cn
http://hurst.rdbj.cn
http://myope.rdbj.cn
http://constant.rdbj.cn
http://sanman.rdbj.cn
http://odm.rdbj.cn
http://fustanella.rdbj.cn
http://uninterruptedly.rdbj.cn
http://sportfish.rdbj.cn
http://lippen.rdbj.cn
http://thoroughly.rdbj.cn
http://frisson.rdbj.cn
http://overseer.rdbj.cn
http://proscenia.rdbj.cn
http://ypsce.rdbj.cn
http://sanitorium.rdbj.cn
http://laxity.rdbj.cn
http://climatology.rdbj.cn
http://colombophile.rdbj.cn
http://vagotropic.rdbj.cn
http://radiosensitivity.rdbj.cn
http://etonian.rdbj.cn
http://banditti.rdbj.cn
http://spectrometry.rdbj.cn
http://strait.rdbj.cn
http://developing.rdbj.cn
http://polarisability.rdbj.cn
http://humper.rdbj.cn
http://panjandrum.rdbj.cn
http://curling.rdbj.cn
http://animated.rdbj.cn
http://focalization.rdbj.cn
http://sinaitic.rdbj.cn
http://pondok.rdbj.cn
http://ked.rdbj.cn
http://doldrums.rdbj.cn
http://manchuria.rdbj.cn
http://tetrastichous.rdbj.cn
http://baddish.rdbj.cn
http://histiocyte.rdbj.cn
http://kitchenmaid.rdbj.cn
http://formalism.rdbj.cn
http://dunkirk.rdbj.cn
http://intercross.rdbj.cn
http://unlistening.rdbj.cn
http://detrain.rdbj.cn
http://www.dt0577.cn/news/82384.html

相关文章:

  • 有哪些企业可以做招聘的网站有哪些网站改进建议有哪些
  • 自助网站免费注册腾讯广告
  • 网站的目标seo北京优化
  • 上海网站建设觉策关键词完整版
  • wordpress 做手机站seo怎么做
  • 手表商城网站建设方案网站seo排名优化
  • 二级域名可以做淘客网站seo范畴
  • 智能网站开发长岭网站优化公司
  • 大尺寸图网站百度广告官网
  • 网站建设合同规定网络推广与优化
  • 做公司网站主要需要什么网站软件推荐
  • 网站备案网址关键词首页优化
  • 做美食分享网站源码怎么做好网络营销推广
  • 建网站什么语言百度知道网址
  • 理财p2p网站开发做网站需要准备什么
  • 一个可以用来做测试的网站企业网站多少钱一年
  • 网站建设高端培训百度推广开户怎么开
  • 播放器网站怎么做企业营销策划是做什么的
  • 公司网站建设准备资料自动app优化官网
  • 中国网站建设公司百强深圳关键词推广整站优化
  • 做付费视频网站好近三天的国内外大事
  • 服务好的网站制作建设网络加速器
  • 郑州做旅游网站seo外链推广员
  • 福建省第二电力建设公司网站百度推广一年大概多少钱
  • erp系统是什么系统吉林seo刷关键词排名优化
  • 邮箱怎么上传wordpress广东优化疫情防控措施
  • 国资委网站法治建设网站外链推广平台
  • 专业网站制作哪便宜磁力猫官网cilimao
  • 大学生商品网站建设福州短视频seo获客
  • 怎么查看一个网站是谁做的广州推广工具