5，ChatGPT的未來(lái)改進(jìn)方向

5.1 減少人類反饋的RLAIF

2020年底，OpenAI前研究副總裁Dario Amodei帶著10名員工創(chuàng)辦了一個(gè)人工智能公司Anthropic。Anthropic 的創(chuàng)始團(tuán)隊(duì)成員，大多為 OpenAI 的早期及核心員工，參與過(guò)OpenAI的GPT-3、多模態(tài)神經(jīng)元、人類偏好的強(qiáng)化學(xué)習(xí)等。

2022年12月，Anthropic再次發(fā)表論文《Constitutional AI: Harmlessness from AI Feedback》介紹人工智能模型Claude。（arxiv.org/pdf/2212.0807）

CAI模型訓(xùn)練過(guò)程

Claude 和 ChatGPT 都依賴于強(qiáng)化學(xué)習(xí)(RL)來(lái)訓(xùn)練偏好（preference）模型。CAI（Constitutional AI）也是建立在RLHF的基礎(chǔ)之上，不同之處在于，CAI的排序過(guò)程使用模型（而非人類）對(duì)所有生成的輸出結(jié)果提供一個(gè)初始排序結(jié)果。

CAI用人工智能反饋來(lái)代替人類對(duì)表達(dá)無(wú)害性的偏好，即RLAIF，人工智能根據(jù)一套constitution原則來(lái)評(píng)價(jià)回復(fù)內(nèi)容。

5.2 補(bǔ)足數(shù)理短板

ChatGPT雖然對(duì)話能力強(qiáng)，但是在數(shù)理計(jì)算對(duì)話中容易出現(xiàn)一本正經(jīng)胡說(shuō)八道的情況。

計(jì)算機(jī)學(xué)家Stephen Wolfram 為這一問(wèn)題提出了解決方案。Stephen Wolfram 創(chuàng)造了的 Wolfram 語(yǔ)言和計(jì)算知識(shí)搜索引擎 Wolfram | Alpha，其后臺(tái)通過(guò)Mathematica實(shí)現(xiàn)。

ChatGPT與Wolfram | Alpha結(jié)合處理梳理問(wèn)題

在這一結(jié)合體系中，ChatGPT 可以像人類使用 Wolfram|Alpha 一樣，與 Wolfram|Alpha “對(duì)話”，Wolfram|Alpha 則會(huì)用其符號(hào)翻譯能力將從 ChatGPT 獲得的自然語(yǔ)言表達(dá)“翻譯”為對(duì)應(yīng)的符號(hào)化計(jì)算語(yǔ)言。在過(guò)去，學(xué)術(shù)界在 ChatGPT 使用的這類 “統(tǒng)計(jì)方法” 和 Wolfram|Alpha 的 “符號(hào)方法” 上一直存在路線分歧。但如今 ChatGPT 和 Wolfram|Alpha 的互補(bǔ)，給NLP領(lǐng)域提供了更上一層樓的可能。

ChatGPT 不必生成這樣的代碼，只需生成常規(guī)自然語(yǔ)言，然后使用 Wolfram|Alpha 翻譯成精確的 Wolfram Language，再由底層的Mathematica進(jìn)行計(jì)算。

5.3 ChatGPT的小型化

雖然ChatGPT很強(qiáng)大，但其模型大小和使用成本也讓很多人望而卻步。

有三類模型壓縮（model compression）可以降低模型的大小和成本。

第一種方法是量化（quantization），即降低單個(gè)權(quán)重的數(shù)值表示的精度。比如Tansformer從FP32降到INT8對(duì)其精度影響不大。

第二種模型壓縮方法是剪枝（pruning），即刪除網(wǎng)絡(luò)元素，包括從單個(gè)權(quán)重（非結(jié)構(gòu)化剪枝）到更高粒度的組件如權(quán)重矩陣的通道。這種方法在視覺(jué)和較小規(guī)模的語(yǔ)言模型中有效。

第三種模型壓縮方法是稀疏化。例如奧地利科學(xué)技術(shù)研究所 (ISTA)提出的SparseGPT （arxiv.org/pdf/2301.0077）可以將 GPT 系列模型單次剪枝到 50% 的稀疏性，而無(wú)需任何重新訓(xùn)練。對(duì) GPT-175B 模型，只需要使用單個(gè) GPU 在幾個(gè)小時(shí)內(nèi)就能實(shí)現(xiàn)這種剪枝。

SparseGPT 壓縮流程

6 ChatGPT的產(chǎn)業(yè)未來(lái)與投資機(jī)會(huì)

6.1 AIGC

說(shuō)到ChaGPT不得不提AIGC。

AIGC即利用人工智能技術(shù)來(lái)生成內(nèi)容。與此前Web1.0、Web2.0時(shí)代的UGC（用戶生產(chǎn)內(nèi)容）和PGC（專業(yè)生產(chǎn)內(nèi)容）相比，代表人工智能構(gòu)思內(nèi)容的AIGC，是新一輪內(nèi)容生產(chǎn)方式變革，而且AIGC內(nèi)容在Web3.0時(shí)代也將出現(xiàn)指數(shù)級(jí)增長(zhǎng)。

ChatGPT 模型的出現(xiàn)對(duì)于文字/語(yǔ)音模態(tài)的 AIGC 應(yīng)用具有重要意義，會(huì)對(duì)AI產(chǎn)業(yè)上下游產(chǎn)生重大影響。

6.2 受益場(chǎng)景

從下游相關(guān)受益應(yīng)用來(lái)看，包括但不限于無(wú)代碼編程、小說(shuō)生成、對(duì)話類搜索引擎、語(yǔ)音陪伴、語(yǔ)音工作助手、對(duì)話虛擬人、人工智能客服、機(jī)器翻譯、芯片設(shè)計(jì)等。從上游增加需求來(lái)看，包括算力芯片、數(shù)據(jù)標(biāo)注、自然語(yǔ)言處理（NLP)等。

大模型呈爆發(fā)態(tài)勢(shì)（更多的參數(shù)/更大的算力芯片需求）

隨著算法技術(shù)和算力技術(shù)的不斷進(jìn)步，ChatGPT也會(huì)進(jìn)一步走向更先進(jìn)功能更強(qiáng)的版本，在越來(lái)越多的領(lǐng)域進(jìn)行應(yīng)用，為人類生成更多更美好的對(duì)話和內(nèi)容