最佳回答:

“发楞!白云区95推荐，发愣” 0.35美元vs 5美元，硅谷巨头的Token价格战！不仅“卷”价格，还在拼推理速度

0.35美元vs 5美元，硅谷巨头的Token价格战！不仅“卷”价格，还在拼推理速度

　　每经记者 文巧    每经编纂 兰素英    图片来历：视觉中国　　5月以来，国内年夜模子打响了“价钱战”。从每百万个Token只要1块钱，到只要8毛钱、5毛钱……国内年夜厂如字节跳动、阿里、百度、智谱AI、科年夜讯飞等不竭接力，有厂商乃至直接打出了“免费”的标语，震动全部科技圈子。　　现实上，硅谷也在上演着近似的景象。《逐日经济新闻》记者留意到，硅谷年夜模子的价钱也呈现了降落趋向。　　API价钱战起首在OpenAI和谷歌这对“老敌手”之间睁开，不外幅度相对较小。此中，OpenAI的GPT-4o挪用API的价钱比GPT-4-turbo下降了一半，为5美元/百万Tokens，谷歌Gemini 1.5 Flash的价钱降到了0.35美元/百万Tokens。　　究竟是甚么在摆布API“价钱战”？在降价以外，有媒体指出，加速模子推理速度（即每秒生成Token的数目）也是硅谷年夜模子市场的首要竞争点。但“卷”价钱、“卷”速度真的会博得将来吗？　　硅谷在“拼”甚么？　　5月中旬，字节跳动豆包以0.0008元/千Tokens的价钱直接将国内年夜模子的市场价钱带入“厘时期”。随即，年夜模子厂商便最先了价钱上的角力。百度乃至直接祭出“文心年夜模子两年夜主力模子周全免费”的年夜招，直接将“价钱战”推向新的高度。科年夜讯飞、腾讯等也“坐不住”了，要末降价，要末免费。　　短短数天，国内年夜模子企业的混战便从“低价”走向了“免费”。而在硅谷，近似的景象其实也在上演。　　《逐日经济新闻》记者留意到，现实上，下降API价钱和推升AI推理速度也已逐步成为硅谷各年夜模子供给商的竞争核心。　　API价钱战起首是在OpenAI和谷歌这对“老敌手”之间睁开的。本地时候5月13日，OpenAI发布全新模子GPT-4o，该模子撑持免费试用，据传将来将供用户免费试用。另外，挪用GPT-4o API的价钱比GPT-4-turbo下降了一半，为5美元/百万Tokens。　　在第二天的谷歌全球开辟者年夜会上，谷歌公布当家王牌Gemini年夜模子系列之一Gemini 1.5 Flash 的API价钱为0.35美元/百万Tokens，远低于GPT-4o的价钱。　　比GPT-4o更具性价比的还有硅谷当红AI草创公司Anthropic和Mistral AI模子的API价钱。 图片来历：每经制图　　除“拼”模子挪用价钱，有媒体指出，硅谷AI芯片公司正以加速模子推理速度——即每秒生成Token的数目——以吸引客户。例如，美国芯片厂商Groq公司专注于提高每秒生成Token的数目，以此作为其首要的市场竞争点。　　据科技外媒Medium本年4月的报导，Groq最新的AI芯片在Meta的开源模子LLaMA 3上到达了惊人的每秒生成800个token，并称这“标记着AI推理效力和能力的庞大改变”。截至今朝，英伟达一向主导着AI芯片市场。该报导阐发认为，Groq的最新成绩可能将对英伟达的统治地位组成严重挑战。　　按照Groq的数据，很多开源模子据称在Groq芯片上的运行速度都获得晋升，例如，Mixtral8×7B版本每秒输出500个Token；Llama 2 70B版本每秒输出300个Token。　　《逐日经济新闻》记者查询数据发现，当前配备英伟达芯片处置的硅谷热点年夜模子推理速度远低于此。例如，GPT-4 Turbo每秒生成约48个token，GPT-4为每秒约10个token；谷歌的Gemini 1.5 Pro约为每秒54.2个token。 图片来历：每经制图　　API“价钱战”背后：模子机能差距正在减小　　硅谷为什么也会晤临年夜模子的API“价钱战”问题？这首要是跟模子的机能有关。　　上个月，纽约年夜学知名传授Gary Marcus颁发了一篇名为《证据注解LLM正到达收益递减点》的文章，驳倒了宾夕法尼亚年夜学沃顿商学院传授Ethan Mollick的一个概念，后者宣称今朝对年夜型说话模子改良率的最好估量显示，能力每5~14个月翻一番。　　Gary Marcus认为，从某些指标来看，在2020~2023年间，年夜模子的能力简直遵循上述定律翻了一番，但在曩昔13个月里这类环境并未产生。“相反，我看到很多迹象注解我们已进入了收益递减期。”他如许写道。　　若以MMLU（一种常见的年夜模子基准指标）为基准，可以看到，从GPT-2到GPT3再到GPT-4显现了奔腾式的递增，但GPT-4到本年4月发布的GPT-4 Turbo的能力改良其实不较着。图片来历：《证据注解LLM正到达收益递减点》　　其次，自GPT-4发布以来，硅谷各年夜模子的能力正在趋同。LiquidAI的机械进修科学家Maxime Labonne在X平台上暗示，表示最好的闭源模子（GPT-4级别）和开源模子在机能上的差距正在愈来愈小。图片来历：X平台　　与此同时，跟着企业对定制化年夜模子的需求愈来愈高，硅谷科技公司正在推出一系列小模子，例如微软在4月推出了名为Phi-3 Mini的轻量级模子。The Information阐发称，像Phi这类小型模子的激增可能会减弱OpenAI的主导地位。　　据The Information，微软产物团队已将内置的GPT-4换成开源模子，以在Bing等产物中履行更根基的使命。而最初为 OpenAI年夜模子付出高价的一些公司，近期最先转向包罗开源模子在内的更廉价的竞争敌手。　　跟着GPT-4以后模子能力的趋同，和更多开源模子和小模子的呈现，竞争加重之下，高价年夜模子的降价仿佛是一种必定。　　“卷”价钱、“卷”速度并不是终点　　但是，一味“卷”价钱会有将来吗？　　尽人皆知，算力本钱是开辟年夜模子没法绕过的难点之一。按照斯坦福年夜学HAI研究所本年发布的AI陈述，练习巨型模子的本钱呈指数级增加，谷歌Gemini Ultra的练习本钱估量为1.91亿美元，GPT-4的练习本钱估量为7800万美元。　　据报导，Anthropic的CEO此前曾暗示，今朝正在练习的模子本钱已接近10亿美元，到2025年和2026年，将飙升至50亿或100亿美元。　　科技巨子已在硅谷年夜模子范畴成立安稳的安身点，前沿根本模子市场显现出强烈的市场集中化趋向。阐发认为，价钱战延续下去，公司利润必将被挤压，财力雄厚的科技巨子另有根本，但草创公司则可能面对风险。　　对年夜模子公司来讲，晋升模子机能才是博得竞争的终究手段。正如Gary Marcus所讲，假如收益递减的趋向延续，初级毛病没法批改，年夜模子可能永久没法达到黄金时段。　　另外一方面，对芯片厂商来讲，“卷”每秒生成Token的数目依然更多只是一种噱头，缩短第一个Token生成的时候或将成为下一个新的竞争点。　　虽然Medium阐发认为，每秒生成Token数目的提高档同于推理能力的上升，但硅谷AI公司SambaNova在5月初颁发的一篇博客文章中暗示，当触及到一些较为复杂和沉重的长文本使命时，每秒生成Token数目并不是最主要的指标，也不克不及周全反应年夜模子的推理机能。而相对地，第一个Token生成的时候才加倍主要。　　这篇文章直白地指出，对每秒高Token数目的寻求多是一种“炒作”。虽然其确切可以实现使人印象深入的解码速度，但存在芯片操纵率低，第一个Token生成速度较慢，难以处置较长的文本输入等重年夜错误谬误。 .app-kaihu-qr {text-align: center;padding: 20px 0;} .app-kaihu-qr span {font-size: 18px; line-height: 31px;display: block;} .app-kaihu-qr img {width: 170px;height: 170px;display: block;margin: 0 auto;margin-top: 10px;} 股市回暖，抄底炒股先开户！智能定投、前提单、个股雷达……送给你>>。