当前位置: 首页 > news >正文

深圳住 建设局网站关键词推广技巧

深圳住 建设局网站,关键词推广技巧,宁夏银川做网站的公司有哪些,惠州大亚湾疫情最新消息Wav2vec2 论文阅读看到的一些问题 这里只是简单的思考一下论文的一些问题,不是论文解读。 Q1. 为什么wav2vec依旧需要Transformer来做推理,而不直接使用VQ生成的内容? A1. Transformer在更长的序列上有更好的编码效果,例如论文也写…

Wav2vec2 论文阅读看到的一些问题

这里只是简单的思考一下论文的一些问题,不是论文解读。

Q1. 为什么wav2vec依旧需要Transformer来做推理,而不直接使用VQ生成的内容?
A1. Transformer在更长的序列上有更好的编码效果,例如论文也写Contextualized representations with Transformers。另一个因素在于对比学习本质上是区分相似性,让正样本之间更接近,让正负样本之间更远离,而不是类似CE的完全逼近。参考损失函数:
− l o g e x p ( s i m ( c t , q t ) / κ ) ∑ q ∼ Q t ^ e x p ( s i m ( c t , q ^ ) / κ ) -log \frac{exp(sim(\textbf{c}_t, \textbf{q}_t) / \kappa)}{\sum_{\hat{\textbf{q} \sim \textbf{Q}_t} exp(sim (\textbf{c}_t, \hat{\textbf{q}})/ \kappa)}} logqQt^exp(sim(ct,q^)/κ)exp(sim(ct,qt)/κ)

Q2. VQ是怎么训练的?
A2. 是联合训练的,在训练早期CodeBook是随机初始化。这个一点和HuBERT有一点不太一样,后者是提前预训练。

http://www.dt0577.cn/news/2101.html

相关文章:

  • 购物网站流量怎么做seo页面内容优化
  • 学做烤制食品的网站广州网站定制多少钱
  • 青岛东八区创意做网站优化大师平台
  • 打开一个网站搜索页面跳转js贵阳做网络推广的公司
  • 北京网络营销推广公司seo工程师
  • 北京网站建设服务北京疫情最新消息情况
  • 网站成品免费下载微信公众号小程序怎么做
  • 网站检索 标签关键词规划师
  • 绍兴做网站哪家好百度提交入口地址在哪
  • 有料网b2b官方网站网络优化工具
  • 企业常用系统软件网站关键词优化
  • 可以做视频推广的网站吗登封网站关键词优化软件
  • 做论坛网站的元素手机制作网站的软件
  • 网站怎么在百度做推广方案在线网页制作
  • 个人可以做几个网站最新地址
  • 做网站的主营业务域名搜索
  • 用易语言做网站抖音搜索seo
  • 建网站多少下载班级优化大师app
  • 哪些网站做的海报比较高大上搜索引擎优化论文
  • 网站后缀ga百度搜索推广和信息流推广
  • 网站建设软件品牌策划书案例
  • 谁做的12306网站站长平台
  • 中国企业网站模板在线注册免费域名
  • 一般做网站的在哪里找今日军事新闻最新消息新闻
  • wordpress用户前端发布公众号seo排名
  • 科技有限公司网站建设策划书web网站模板
  • wordpress制作海报成都最好的网站推广优化公司
  • 制作网页时采用的最基本的语言是seo公司费用
  • 软件开发公司在哪里烟台seo外包
  • WordPress 空间模板谷歌seo是什么意思