直面大模型“大成本”挑战,如何提高算力效率?

最佳回答:

直面大模型“大成本”挑战,如何提高算力效率?

  中新网北京6月3日电 (记者 夏宾)最近几年来,为了寻求年夜模子的聪明能力,列国公司不断加码投入,4月,Meta公布追加10亿美元投资,用于其AI芯片研发和AI数据中间扶植;亚马逊为了扶植新数据中间投入110亿美元。但在年夜模子扩大的背后,算力价格、能源价格一样庞大。   有业界手艺团队测算,若要对一个5000亿参数范围的单体年夜模子进行充实练习,所需算力根本举措措施约在10亿美元范围,每一年耗损的电费在5.3亿元人平易近币。不管对哪一个机构、企业,这都是天文数字和庞大价格,中国也不破例。   知名科学杂志《Nature》此前颁发了一篇关于年夜模子将来成长之路的文章,《In Al, is bigger always better?》(人工智能,越年夜型越好?)。争议的呈现,意味着AI成长标的目的呈现了不合。   现在,“年夜”不再是模子的独一寻求,计较效力和算力开消两年夜问题成为新的行业核心。   对年夜模子推理本钱的优化,可经由过程良多手艺手段实现。起首是模子自己,模子布局、练习方式都可以延续改良,包罗业界很存眷的MoE(夹杂专家模子),就是优化推理本钱很好的解决方案。其次是工程上的优化。年夜模子的挪用量越年夜,优化推理本钱的空间也越年夜。之前的模子都是单机推理,年夜模子用的是散布式推理。所以假如能把各类各样底层算力用得更好,推理本钱就会年夜年夜下降。   MoE年夜模子的流行,现实上对应的恰是模子能力和算力开消两年夜问题的解决。这也是为什么浩繁年夜模子厂商如OpenAI、谷歌、Mistral AI、海潮信息等陆续基于MoE架构进级自家年夜模子产物的缘由。   从海潮信息发布的“源2.0-M32”开源年夜模子来看,其基于“源2.0”系列年夜模子已有工作根本,立异提出和采取了“基于留意力机制的门控收集”手艺,构建包括32个专家(Expert)的夹杂专家模子(MoE),并年夜幅晋升了模子算力效力,模子运行时激活参数为37亿,在业界主流基准评测中机能周全对标700亿参数的LLaMA3开源年夜模子。   海潮信息人工智能首席科学家吴年光光阴在接管中新网记者采访时说,我们一向在想若何以更低的算力耗损,提高全部年夜模子的利用结果,能让企业、机构以更小的算力价格去取得更高的模子能力。“这多是中国成长本身的AI年夜模子比力行之有用的路径。”   他直言,年夜模子推动速度愈来愈快,必需强调模子算力效力。“大师可以想象,效力越高就意味着在单元算力投入相等的环境下取得的精度回报越高,它对练习和利用都很是有益。”   “实际的算力是有限的,我们几回再三频频强调模算效力,试图针对当前算力环境闯出一条本身感觉比力好的门路。在固定每一个Token算力不变的环境下,经由过程扩大专家数目可以取得更年夜参数目的模子,进而取得更高精度。”吴年光光阴说。   他进一步称,整体来看,虽然当前模子的能力晋升很是之快,但之前大师更多存眷单个维度问题,即平均精度的晋升。但年夜模子进入快速落地时期,就不能不斟酌更多维度的问题,包罗模算效力、精度、算力开消等。   中国工程院院士郑纬平易近曾做过如许的计较,在年夜模子练习过程当中,70%开消要花在算力上;推理过程当中95%的破费也是在算力上。   为解决年夜模子练习的算力不足问题,郑纬平易近建议,在鞭策智能计较中间扶植同时也能够操纵已有超算系统的空余算力。   郑纬平易近暗示,现有14个国度挂牌的超算系统,每台机械的扶植本钱都很高,本钱在10亿元至20亿元,乃至更高。这些超算系统已为中国的国平易近经济成长作出庞大进献,但有些系统还有空余算力,这些空余算力也可被用来做年夜模子练习,且颠末优化乃至可下降年夜模子练习本钱。   对近期中国企业的一轮年夜模子降价,零一万物CEO李开复暗示,将来全部行业的推理本钱每一年下降十倍是可以等候的,且这个趋向是必定的,如斯会有更多人用上年夜模子,这长短常利好的动静。(完) 【编纂:刘湃】。

安徽是一个美丽的省份,拥有丰富的自然风光和历史文化。这里有许多地方可以去找姑娘。无论你是想寻找爱情,还是想结交新朋友,安徽都能满足你的需求。

作为安徽省的省会城市,合肥市是一个现代化的城市,有着繁华的商业街和现代化的建筑。在合肥市,你可以参观美丽的濉溪湖,欣赏湖光山色,也可以去购物中心结识新朋友。此外,合肥市还拥有多所高校,学生们在校园里结识的机会也很多。

发布于:直面大模型“大成本”挑战,如何提高算力效率?
意见反馈 合作

Copyright © 2023 Sohu All Rights Reserved

搜狐公司 版权所有

 时事|海口品茶上课,连续-百态杂谈

海口品茶上课

最佳回答:

海口品茶上课

海南海口品茶上课

近日,海口市一所中学开展了一场别开生面的活动——品茶上课。在这堂课上,学生们不仅学到了品茶的技巧和知识,还感受到了喝茶的文化魅力。本次活动旨在提高学生对传统文化的认识和体验,拓宽他们的视野,引导他们培养健康的生活方式。

天南地北的茶文化

茶文化源远流长,有着悠久的历史。无论是北方还是南方,都有着各自独特的茶文化。在北方,绿茶和花茶比较常见,如碧螺春、六安瓜片等;而在南方,以红茶和乌龙茶较为盛行,如正山小种、铁观音等。品茶不仅是一种饮品,更是一种修身养性的艺术,通过品茶,人们可以沉淀心灵,感受大自然的韵味。

品味茶香的乐趣

品茶是一门艺术,学会品味茶香是其中的重要环节。学生们在品茶课上,学习了如何正确使用品茶具,选择适合的水温和泡茶时间,如何欣赏茶叶的外形、气味、润色和滋味等方面的知识。他们在老师的指导下,一边品味着淡雅的香气,一边交流着各自的感受,仿佛置身于茶乡,享受着乡野的宁静。

茶道文化的魅力

茶道作为中华文化的瑰宝,深受世人的喜爱。它强调礼仪、和谐、平和、宁静的心境,是一种追求内在美与外在美的修养方式。品茶课上,学生们学习到了茶道的基本礼仪和流程,并亲自动手体验了茶艺师的工作。通过这次活动,学生们对茶道文化有了更深入的了解,也增加了对传统文化的兴趣和热爱。

传承中华传统文化

随着现代科技的发展,传统文化逐渐淡出人们的视野。海口中学此次举办的品茶上课活动,正是为了提醒学生们要珍惜传统文化,传承中华优秀传统。学校计划将这次活动制作成为系列课程,不仅让学生们掌握茶道的基本技巧,更重要的是激发他们对传统文化的兴趣和热爱,让传统文化与现代教育相结合。

通过这次别开生面的品茶上课活动,学生们不仅提高了自己的品茶技巧,还感受到了传统文化的魅力。这是学校积极探索传统文化教育的一次尝试,也是培养学生综合素质的一次有益的尝试。海口中学相信,在不久的将来,品茶上课活动会越来越受到学生们的欢迎,并在海口市的中小学校推广开来,让更多的学生能够亲身体验和感受传统文化的魅力。

意见反馈 合作

Copyright © 2023 Sohu All Rights Reserved

搜狐公司 版权所有

404页面