【資料圖】
IT之家 7 月 31 日消息,用戶(hù)所使用的語(yǔ)言對(duì)于大型語(yǔ)言模型(LLM)的費(fèi)用有很大的影響,可能造成英語(yǔ)使用者和其它語(yǔ)言使用者之間的人工智能鴻溝。最近的一項(xiàng)研究顯示,由于 OpenAI 等服務(wù)所采用的的服務(wù)器成本衡量和計(jì)費(fèi)的方式,英語(yǔ)輸入和輸出的費(fèi)用要比其他語(yǔ)言低得多,其中簡(jiǎn)體中文的費(fèi)用大約是英語(yǔ)的兩倍,西班牙語(yǔ)是英語(yǔ)的 1.5 倍,而緬甸的撣語(yǔ)則是英語(yǔ)的 15 倍。
IT之家注意到,推特用戶(hù) Dylan Patel(@dlan522p)分享了一張照片,展示了牛津大學(xué)進(jìn)行的一項(xiàng)研究,該研究發(fā)現(xiàn),讓一個(gè) LLM 處理一句緬甸語(yǔ)句子需要 198 個(gè)詞元(tokens),而同樣的句子用英語(yǔ)寫(xiě)只需要 17 個(gè)詞元。詞元代表了通過(guò) API(如 OpenAI 的 ChatGPT 或 Anthropic 的 Claude 2)訪(fǎng)問(wèn) LLM 所需的計(jì)算力成本,這意味著緬甸語(yǔ)句子使用這種服務(wù)的成本比英語(yǔ)句子高出 11 倍。
詞元化模型(即人工智能公司將用戶(hù)輸入轉(zhuǎn)換為計(jì)算成本的方式)意味著,除了英語(yǔ)之外的其他語(yǔ)言使用和訓(xùn)練模型要貴得多。這是因?yàn)橄裰形倪@樣的語(yǔ)言有著不同、更復(fù)雜的結(jié)構(gòu)(無(wú)論是從語(yǔ)法還是字符數(shù)量上),導(dǎo)致它們需要更高的詞元化率。例如,根據(jù) OpenAI 的 GPT3 分詞器 ,“你的愛(ài)意(your affection)”的詞元,在英語(yǔ)中只需要兩個(gè)詞元,但在簡(jiǎn)體中文中需要八個(gè)詞元。盡管簡(jiǎn)體中文文本只有 4 個(gè)字符(你的愛(ài)意),而英文有 14 個(gè)字符。
關(guān)鍵詞:
推薦內(nèi)容
- AI大模型的語(yǔ)言不平等:英語(yǔ)最便宜,其它語(yǔ)言要貴得多 a>
- 全球微速訊:百萬(wàn)網(wǎng)友在線(xiàn)圍觀(guān) 內(nèi)鄉(xiāng)法院開(kāi)展集中執(zhí)行活動(dòng) a>
- 環(huán)球訊息:西峽農(nóng)商銀行:強(qiáng)化評(píng)級(jí)授信 防范貸款風(fēng)險(xiǎn) a>
- 南陽(yáng)市第六人民醫(yī)院:兄弟醫(yī)院齊合作 護(hù)理到“家”零距離_全球時(shí)快訊 a>
- 算力時(shí)代來(lái)了!AI算力行情是否具有可持續(xù)性?七家基金公司專(zhuān)業(yè)人士發(fā)聲 a>
- 新野縣財(cái)政局凝聚紅色力量助推“五星”支部建設(shè) 焦點(diǎn)消息 a>
- 焦點(diǎn)信息:【競(jìng)彩】周三競(jìng)彩足球強(qiáng)檔:日本女足爭(zhēng)取出線(xiàn) 加拿大背水一戰(zhàn) a>
- 【競(jìng)彩】周二競(jìng)彩足球強(qiáng)檔:新西蘭女足求連勝 挪威女足迎生死戰(zhàn) a>
- 南陽(yáng)市六院:冬病夏治三伏貼 “護(hù)理到家”送健康 a>
- “2022體彩追夢(mèng)人”肖寒松捐獻(xiàn)造血干細(xì)胞 搭建公益橋梁 a>
- 新野人民醫(yī)院:與省醫(yī)連線(xiàn) 在家門(mén)口解“難題” a>
- 跨境電商開(kāi)拓外貿(mào)新增長(zhǎng)點(diǎn) a>
- 如何理解“一攬子化債方案”?華泰宏觀(guān):中央政府溫和“加杠桿”化債對(duì)提振市場(chǎng)信心可能效果最顯著 a>
- 中信證券:下半年消費(fèi)總體配置機(jī)會(huì)明確,建議積極加配 a>
- 兩市融資余額減少31.19億元 a>
- 愛(ài)博諾德:以增資及股權(quán)轉(zhuǎn)讓方式收購(gòu)福建優(yōu)你康光學(xué)有限公司51%股權(quán) a>
- 民航業(yè)進(jìn)入增量提質(zhì)關(guān)鍵期 a>
- 創(chuàng)新驅(qū)動(dòng)促發(fā)展提質(zhì) a>
- 金觀(guān)平:從戰(zhàn)略高度抓好穩(wěn)就業(yè) a>
- 京津冀豫等地全力應(yīng)對(duì)強(qiáng)降雨 a>
-
1微動(dòng)態(tài)丨描寫(xiě)山澗小溪的好句子(精選174句)
-
2熱點(diǎn)評(píng)!鏖戰(zhàn)“春節(jié)檔”!消費(fèi)貸利率一降再降,釋放了何種信號(hào)
-
3視焦點(diǎn)訊!杭蕭鋼構(gòu)1月17日快速上漲
-
4處女座和什么星座最配
-
5怎樣順利、及時(shí)地運(yùn)送出去,讓老百姓吃到保質(zhì)保量、新鮮放心的菜品?
-
6天天速看:呵護(hù)流動(dòng)性合理充裕 央行超額續(xù)做“麻辣粉”
-
7山西:支持各類(lèi)企業(yè)在疫情防控期間有序復(fù)工復(fù)產(chǎn)
-
8多國(guó)推出多項(xiàng)應(yīng)對(duì)危機(jī)舉措
-
923江西債03票面利率為2.9600%
-
10環(huán)球頭條:翱捷科技:1月17日融券賣(mài)出金額34.76萬(wàn)元,占當(dāng)日流出金額的0.26%