当前位置: 首页 > news >正文

如何制作活动宣传网页长春seo关键词排名

如何制作活动宣传网页,长春seo关键词排名,张家港网站建设哪家好,有网站后台模板如何做数据库原文来自DataLearnerAI官方网站: 不同参数规模大语言模型在不同微调方法下所需要的显存总结 | 数据学习者官方网站(Datalearner)https://www.datalearner.com/blog/1051703254378255 大模型的微调是当前很多人都在做的事情。微调可以让大语言模型适应特定领域的任…

原文来自DataLearnerAI官方网站:

不同参数规模大语言模型在不同微调方法下所需要的显存总结 | 数据学习者官方网站(Datalearner)icon-default.png?t=N7T8https://www.datalearner.com/blog/1051703254378255

大模型的微调是当前很多人都在做的事情。微调可以让大语言模型适应特定领域的任务,识别特定的指令等。但是大模型的微调需要的显存较高,而且比较难以估计。与推理不同,微调过程微调方法的选择以及输入序列的长度、批次大小都会影响微调显存的需求。本文根据LLaMA Factory的数据总结一下大模型微调的显存要求。

在此前的文章中,我们已经解释了大模型推理和显存之间的估算方法:需要多少GPU显存才能运行预训练大语言模型?大语言模型参数规模与显存大小的关系估算方法~。即大模型推理显存约等于模型参数乘以2,而微调则只给了方法没有具体公式。

不同参数规模的大模型在不同微调方法下所需的显存大小,十分有参考意义:

微调方法模型精度70亿参数模型130亿参数模型300亿参数模型650亿参数模型8x7B(MoE)
Full16160GB320GB600GB1200GB1000GB
Freeze1620GB40GB120GB240GB200GB
LoRA1616GB32GB80GB160GB120GB
QLoRA810GB16GB40GB80GB80GB
QLoRA46GB12GB24GB48GB32GB

这里的微调方法介绍参考和数据来源见原文:不同参数规模大语言模型在不同微调方法下所需要的显存总结 | 数据学习者官方网站(Datalearner)

这里比较重要的参考是8×7B的MoE模型。这个显然就是前段时间刚刚发布的Mixtral大模型(即Mistral 8×7B MoE,详情参考:MistralAI的混合专家大模型Mistral-7B×8-MoE详细介绍,效果超过LLaMA2-70B和GPT-3.5,推理速度快6倍)。这个模型实际参数450亿,每次推理只会激活120亿的参数。这个模型在微调的时候需要的显存大小和450亿参数规模的模型相当。也就是说,MoE最大的优点应该是提升推理速度。推理现存与微调显存实际上不会有什么优势(根据实际测试,Mixtral 8×7B MoE推理最少也要90多G的显存)。如果使用QLoRA方法,那么显存大小会显著降低。不过,这也会降低一点精度。

原文来自DataLearnerAI:不同参数规模大语言模型在不同微调方法下所需要的显存总结 | 数据学习者官方网站(Datalearner)

http://www.dt0577.cn/news/20510.html

相关文章:

  • 做网站建设客户从哪里找seo外链发布技巧
  • 做视频网站需要多少钱重庆百度seo公司
  • wordpress 一直跳转到老域名一键优化清理加速
  • 揭阳网站制作托管手机软文广告300字
  • 用什么软件上传网站seo关键词快速排名前三位
  • 网站分享到朋友圈德阳seo
  • 营销型网站建设合同范本市场营销产品推广策划方案
  • 东莞网站推广怎么做软文代写文案
  • 做旅游网站挣钱吗电话营销销售系统
  • 小程序免费制作平台系统百度seo推广
  • 阿里巴巴logo图片专业搜索引擎seo服务
  • 公司网站优化怎么做多少关键词排名优化软件
  • 品牌网站建设 杭州网络营销公司经营范围
  • 中文电商网站模板网站建设方案及报价
  • 天天seo伪原创工具优化电池充电什么意思
  • 网站建设5000费用高德北斗导航
  • 网站如何申请域名淘宝流量平台
  • 网站开发编程工程师招聘浏览器大全网站
  • 吉林市城市建设管理执法局网站网站站点
  • 4s店网站建设方案百度免费网站制作
  • 西安电商网站开发企业网站设计
  • 做网站例子如何进行品牌宣传与推广
  • wordpress动画插件下载新站seo外包
  • 图书翻页的动画 做网站启动用全网热度指数
  • 南阳网站建设多少钱盘搜搜
  • 肇庆网站制作360推广登陆入口
  • 网站keyword如何排列南京百度推广
  • 网站备案 动态ip保定seo外包服务商
  • 做阿里巴巴网站做小程序的公司
  • wordpress 相册 样式下载优化大师