世界速訊：AI會(huì)帶來(lái)氣候?yàn)?zāi)難？GTP-4等大型語(yǔ)言模型訓(xùn)練耗能?chē)?yán)重
編程客棧（）4月4日 消息:即將到來(lái)的強(qiáng)大AI聊天機(jī)器人時(shí)代很可能會(huì)以激進(jìn)和不可預(yù)見(jiàn)的方式重塑世界，但同時(shí)也可能也會(huì)付出巨大的環(huán)境代價(jià)。
(資料圖)
日前，斯坦福大學(xué)人工智能研究所發(fā)布的一份新報(bào)告估計(jì)，訓(xùn)練像OpenAI的GPT-3這樣的人工智能模型所需消耗的能量，足以可以讓一個(gè)普通美國(guó)家庭用上數(shù)百年了。在研究中審查的三種人工智能模型中，OpenAI 的系統(tǒng)是迄今為止最耗能的。
ChatGPT耗能?chē)?yán)重
這項(xiàng)研究在斯坦福最近發(fā)布的人工智能指數(shù)中得到了強(qiáng)調(diào)，該研究借鑒了最近測(cè)量與訓(xùn)練四種模型相關(guān)的碳成本的研究:DeepMind 的 Gopher、BigScience inititiaives 的BLOOM、Meta 的 OPT和OpenAI 的 GPT-3。據(jù)報(bào)道，POriNvzmOpenAI 的模型在訓(xùn)練期間釋放了502公噸碳。它釋放的碳含量是 Gopher 的1.4倍，是 BLOOM 的20.1倍。GPT-3的耗電量也是最大的，達(dá)1，287MWh。
每個(gè)模型的能耗受很多因素影響，包括數(shù)據(jù)點(diǎn)或參數(shù)的數(shù)量，它們接受的培訓(xùn)以及它們所在的數(shù)據(jù)中心的能效。盡管能耗存在明顯差異，四個(gè)模型中有三個(gè)（DeepMind的Gopherjavascript除外）都是在大致相當(dāng)?shù)?750億個(gè)參數(shù)上進(jìn)行訓(xùn)練的。OpenAI并沒(méi)有透露其新發(fā)布的GTP-4訓(xùn)練了多少參數(shù)，鑒于該模型前幾個(gè)版本之間所需數(shù)據(jù)的巨大飛躍，可以肯定GTP-4比之前的版本需要更多數(shù)據(jù)。
一位人工智能愛(ài)好者估計(jì)，GPT-4預(yù)計(jì)用100萬(wàn)億個(gè)參數(shù)進(jìn)行訓(xùn)練，不過(guò)OpenAI首席執(zhí)行官薩姆奧特曼后來(lái)稱(chēng)這個(gè)數(shù)字“完全是胡扯”。
斯坦福大學(xué)研究員彼得亨德森去年表示:“如果我們只是擴(kuò)大規(guī)模而不考慮對(duì)環(huán)境的影響，可能會(huì)讓自己陷入一種對(duì)機(jī)器學(xué)習(xí)模型弊大于利的境地。真的希望盡可能減輕這種影響，并帶來(lái)凈社會(huì)效益。”
毫無(wú)疑問(wèn)，人工智能模型訓(xùn)練非常依賴(lài)數(shù)據(jù)，但斯坦福大學(xué)的報(bào)告指出，現(xiàn)在說(shuō)這是否一定意味著會(huì)帶來(lái)一場(chǎng)環(huán)境災(zāi)難還為時(shí)過(guò)早。未來(lái)強(qiáng)大的人工智能模型可以用來(lái)優(yōu)化數(shù)據(jù)中心和其他環(huán)境的能耗。例如，在一項(xiàng)為期三個(gè)月的實(shí)驗(yàn)中，DeepMind的BCOOLER代理能夠在谷歌數(shù)據(jù)中心實(shí)現(xiàn)約12.7%的節(jié)能，同時(shí)仍然保持建筑物足夠涼爽，以便人們舒適地工作。
AI的環(huán)境成本反映挖礦帶來(lái)的氣候困境
這些聽(tīng)起來(lái)是不是很熟悉?那是因?yàn)閹啄昵埃覀兓旧峡吹搅送瑯拥沫h(huán)境動(dòng)態(tài)，即加密貨幣和web3技術(shù)帶來(lái)的困擾。比如，比特幣成為該行業(yè)明顯的環(huán)境痛點(diǎn)，因?yàn)樵谄涔ぷ髁孔C明模型中，挖礦需要大量能源。據(jù)估計(jì)，僅比特幣一項(xiàng)每年所需的能源就超過(guò)了挪威全年的用電量。
多年來(lái)環(huán)保人士的批評(píng)也促進(jìn)了加密行業(yè)做出了一些改變。以太坊是區(qū)塊鏈上的第二大貨幣，去年正式轉(zhuǎn)向權(quán)益證明模型，支持者聲稱(chēng)該模型可以將其功耗降低99%以上。其他較小的代幣在設(shè)計(jì)時(shí)也同樣考慮到了能源效率。從大局來(lái)看，大型語(yǔ)言模型仍處于起步階段，它的環(huán)境影響尚不能確定。
大型語(yǔ)言模型訓(xùn)練越來(lái)越貴
能源需求并不是新LLM（大語(yǔ)言模型）快速增長(zhǎng)的唯一數(shù)字，它所需投入的資金量也是如此。20編程客棧19年OpenAI發(fā)布GPT2時(shí)，斯坦福大學(xué)的報(bào)告指出，該公司僅花費(fèi)5萬(wàn)美元就訓(xùn)練了基于15億個(gè)參數(shù)構(gòu)建的模型。僅僅三年后，谷歌就發(fā)布了自己強(qiáng)大的PaLM模型，該模型根據(jù)5400億個(gè)參數(shù)進(jìn)行了訓(xùn)練，而花費(fèi)的金額已經(jīng)飆升到800萬(wàn)美元。根據(jù)這份報(bào)告，PaLM比GPT-2大360倍，但價(jià)格卻高出160倍。同樣，這些模型，無(wú)論是OpenAI還是谷歌發(fā)布的，都只會(huì)越來(lái)越大。
報(bào)告指出，“總整體說(shuō)，大型語(yǔ)言和多模態(tài)模型變得越來(lái)越大，越來(lái)越貴”。
斯坦福大學(xué)估計(jì)，2022年全球人工智能私人投資額是2013年的18倍。至android少在美國(guó)，各個(gè)行業(yè)與人工智能相關(guān)的職位招聘也在增長(zhǎng)，并在2022年從1.7%增長(zhǎng)到1.9%。在全球范圍內(nèi)，美國(guó)在人工智能的整體投資方面遙遙領(lǐng)先，據(jù)報(bào)道，2022年美國(guó)對(duì)人工智能技術(shù)的投資為474億美元，是中國(guó)的3.5倍。說(shuō)到燒錢(qián)，美國(guó)無(wú)人能及。
針對(duì)AI的立法問(wèn)題
最近一波強(qiáng)大的聊天機(jī)器人，以及圍繞它們的道德和法律問(wèn)題，悄悄困擾著人工智能工程師之外的幾乎所有人，包括立法者。
可以肯定的是，立法者正試圖在立法上迎頭趕上。根據(jù)斯坦福大學(xué)的報(bào)告，2021年，所有涉及人工智能的聯(lián)邦法案中，只有2%真正成為法律。這一數(shù)字去年攀升至10%。許多類(lèi)似的法案是在當(dāng)前圍繞GPT4和一些研究人員過(guò)早地將其描述為“人工通用智能”之前寫(xiě)的。
立法者對(duì)人工智能也比以往任何時(shí)候都更感興趣。2022年，斯坦福大學(xué)確定了110起在美國(guó)聯(lián)邦和州法院提起的人工智能相關(guān)法律案件，這比2016年發(fā)現(xiàn)的案例多出6.5倍。這些案件大部分發(fā)生在加利福尼亞州、伊利諾伊州和紐約州。大約29%的人工智能案件涉及民法，而19%涉及知識(shí)產(chǎn)權(quán)。如果最近作家和藝術(shù)家對(duì)AI生成器使用他們的風(fēng)格提出的投訴有任何指導(dǎo)意義，那么產(chǎn)權(quán)案件的比例可能會(huì)增加。
關(guān)鍵詞：
8月20日起北京地鐵2號(hào)線(xiàn)前門(mén)站A口臨時(shí)封閉
