你的位置:首頁 > 跨境電商 > ChatGPT > 一鍵解鎖ChatGPT原理與應用

一鍵解鎖ChatGPT原理與應用

星空跨境
跨境電商干貨分享網站,最新的亞馬遜、全球速賣通、eBay、Wish商戶平臺、敦煌網、Shopify、Lazada、Etsy等電商平臺賣家開店運營課程,以及外貿電子商務B2B和B2C平臺網絡營銷,Dropshipping,英文SEO,海外SNS營銷,Facebook,YouTube,LinkedIn,Twitter,Instagram,Snapchat,Pinterest,Tumblr以及EDM精準郵件營銷等推廣營銷實戰培訓。
2023-05-10 09:52:29
“如何充分發揮ChatGPT潛能,成為了眾多企業關注的焦點。但是,這種變化對員工來說未必是好事情。IBM計劃用AI替代7800個工作崗位,游戲公司使用MidJourn

一鍵解鎖ChatGPT原理與應用

如何充分發揮ChatGPT潛能,成為了眾多企業關注的焦點。但是,這種變化對員工來說未必是好事情。IBM計劃用AI替代7800個工作崗位,游戲公司使用MidJourney削減原畫師人數……此類新聞屢見不鮮。理解并應用這項新技術,對于職場人來說重要性與日俱增。

一、GPT模型原理

理解原理是有效應用的第一步。ChatGPT是基于GPT模型的AI聊天產品,后文均簡稱為GPT。

從技術上看,GPT是一種基于Transformer架構的大語言模型(LLM)。GPT這個名字,實際上是”Generative Pre-trained Transformer”的縮寫,中文意為“生成式預訓練變換器”。

1. 大模型和傳統AI的區別是什么?

傳統AI模型針對特定目標訓練,因此只能處理特定問題。例如,很會下棋的AlphaGO。

而自然語言處理(NLP)試圖更進一步,解決用戶更為通用的問題??梢苑譃閮蓚€關鍵步驟:自然語言理解(NLU)和自然語言生成(NLG)。

一鍵解鎖ChatGPT原理與應用

以SIRI為代表的人工智能助手統一了NLU層,用一個模型理解用戶的需求,然后將需求分配給特定的AI模型進行處理,實現NLG并向用戶反饋。然而,這種模式存在顯著缺點。如微軟官方圖例所示,和傳統AI一樣,用戶每遇到一個新的場景,都需要訓練一個相應的模型,費用高昂且發展緩慢,NLG層亟需改變。

一鍵解鎖ChatGPT原理與應用

大型語言模型(如GPT)采用了一種截然不同的策略,實現了NLG層的統一。秉持著“大力出奇跡”的理念,將海量知識融入到一個統一的模型中,而不針對每個特定任務分別訓練模型,使AI解決多類型問題的能力大大加強。

一鍵解鎖ChatGPT原理與應用

2. ChatGPT如何實現NLG?

AI本質上就是個逆概率問題。GPT的自然語言生成實際上是一個基于概率的“文字接龍”游戲。我們可以將GPT模型簡化為一個擁有千億參數的“函數”。當用戶輸入“提示詞(prompt)”時,模型按照以下步驟執行:

  1. 將用戶的“提示詞”轉換為token(準確地說是“符號”,近似為“詞匯”,下同)+token的位置。
  2. 將以上信息“向量化”,作為大模型“函數”的輸入參數。
  3. 大模型根據處理好的參數進行概率猜測,預測最適合回復用戶的詞匯,并進行回復。
  4. 將回復的詞匯(token)加入到輸入參數中,重復上述步驟,直到最高概率的詞匯是【END】,從而實現一次完整的回答。

這種方法使得GPT模型能夠根據用戶的提示,生成連貫、合理的回復,從而實現自然語言處理任務。

一鍵解鎖ChatGPT原理與應用

3. 上下文理解的關鍵技術

GPT不僅能理解用戶當前的問題,還能基于前文理解問題背景。這得益于Transformer架構中的“自注意力機制(Self-attention)”。該機制使得GPT能夠捕捉長文本中的依賴關系。

通俗地說,GPT在進行文字接龍判斷時,不僅基于用戶剛輸入的“提示”,還會將之前多輪對話中的“提示”和“回復”作為輸入參數。然而,這個距離長度是有限的。對于GPT-3.5來說,其距離限制為4096個詞匯(tokens);而對于GPT-4,這個距離已經大幅擴展至3.2萬個tokens。

4. 大模型為何驚艷?

我們已經介紹了GPT的原理,那么他是如何達成這種神奇效果的呢?主要分三步:

  1. 自監督學習:利用海量的文本進行自學,讓GPT具備預測上下文概率的基本能力。
  2. 監督學習:人類參與,幫助GPT理解人類喜好和期望的答案,本質為微調(fine-tune)。
  3. 強化學習:根據用戶使用時的反饋,持續優化和改進回答質量。

其中,自監督學習最關鍵。因為,大模型的魅力在于其“大”——大在兩個方面::

  1. 訓練數據量大:即訓練大模型的數據規模,以GPT-3為例,其訓練數據源為互聯網的各種精選信息以及經典書籍,規模達到了45TB,相當于閱讀了一億本書。
  2. 模型參數量大:參數是神經網絡中的一個術語,用于捕捉數據中的規律和特征。通常,宣稱擁有百億、千億級別參數的大型模型,指的都是其參數量。

追求大型模型的參數量是為了利用其神奇的“涌現能力”,實現所謂的“量變引起質變”。

舉例來說,如果要求大模型根據emoji猜電影名稱,如👧🐟🐠🐡代表《海底總動員》??梢钥吹?,當模型參數達到千億級別時,匹配準確度大幅度提升。這表明模型參數量的增加對提高模型表現具有重要意義。

一鍵解鎖ChatGPT原理與應用

處理其他多類型任務時,也有類似的效果:

一鍵解鎖ChatGPT原理與應用

如實驗所揭示的,只有當模型參數達到千億級別,大模型的優勢才得以凸顯。GPT之外的其他大模型,也有類似的表現。

為什么?

目前主流觀點認為,要完整完成一個任務,實際上需要經過很多子步驟。當模型大小不足時,大語言模型無法理解或執行所有步驟,導致最終結果不正確,達到千億級參數時,其解決問題的全鏈路能力已經足夠。人們以最終結果的正誤作為評判標準,導致認為是一種“涌現”。

在“涌現”問題上,人與猩猩的比喻很有趣。人類的大腦容量比猩猩大3倍,這種差異使得人類能夠進行更復雜的思考、溝通和創造。兩者的結構沒有顯著差異,這不也是“涌現”嗎?

GPT-3.5正是千億模型,參數達到了1750億。相較于GPT-3,GPT-3.5主要針對模型參數進行了微調,使其在問答時更符合人類的習慣。據悉,GPT-4的模型參數量甚至達到了GPT-3.5的五倍之多,這也解釋了為何GPT-4表現得如此聰明(體驗過的人應該都能理解)。下面是GPT模型演進歷史:

一鍵解鎖ChatGPT原理與應用

二、GPT的局限性

綜上,GPT模型具有明顯的、突破性的優勢。典型的優勢包括:①強大的語言理解能力;②極為廣泛的知識儲備;③學習能力與推理能力等等。這些能力讓人們感覺人工智能真正擁有了“腦子”,想象著使用GPT解決一切問題。

然而,若真的要深入應用該技術,有必要了解其局限性,以便在實際應用中取長補短。主要總結六大局限:

1. 邏輯不透明

GPT模型的回答本質上是概率。傳統的軟件開發中,接口的輸入和輸出參數都是確定的,而在給定輸入參數(即提示詞)的情況下,GPT的回復卻有一定隨機性。

當大家將ChatGPT作為聊天工具使用時,這種不精確可以是用戶的談資;當涉及到商業化軟件應用時,設計時就需要特別注意降低不確定性,在大部分產品場景下,用戶都很重視確定性。

2. 短期記憶差

得益于自注意力機制,ChatGPT具備了多輪對話能力。然而,它的記憶長度相當有限,GPT-3.5模型僅支持向前追溯4096個tokens用于回復的參考。

更糟糕的是,這4096個tokens還包括ChatGPT之前回復用戶的部分!這使得其捉襟見肘的記憶更加難堪,堪稱電子金魚。好在GPT-4已經將上下文token上限擴展至3.2萬個,一定程度上緩解了這個問題。

一鍵解鎖ChatGPT原理與應用

3. 資源消耗多

ChatGPT的智能需要消耗大量算力,而運行大規模高端顯卡需要消耗大量電力。在五年之內,依靠半導體制程的進一步升級和大模型的廣泛應用,算力與電力的邊際成本將逐漸轉變為固定成本,也就解決了本問題。

4. 響應速度慢

由于模型極大,GPT在回復時也無法做到瞬時響應,正如用戶實際體驗,ChatGPT是逐詞回復的。企業在設計相關產品時需要特別關注應用場景:

  1. 需要避免將GPT用于高并發的場景,本服務依賴的接口調用并發上限非常低。
  2. 產品設計上避免用戶急切需要結果的應用場景,確保用戶能夠“等得起”。

5. 行業認知淺

誠然,ChatGPT擁有來自互聯網和經典書籍的豐富知識。然而,真正的企業級專業知識往往源于特定領域的深入研究和實踐,這些真知灼見無法僅憑互聯網上的知識獲取。因此,若希望GPT充當企業參謀,只能幫助梳理戰略框架,但難以為企業提供頗具洞察的策略建議。

6. 價值未對齊

  1. 在自監督學習階段,GPT訓練數據英文占比高達92%。
  2. 在監督學習階段,傳授道德觀的工程師主要來自英語世界。
  3. 在強化學習環節,也可能受到惡意用戶輸入錯誤價值觀的影響。

因此,GPT的“精神內核”是以西方價值觀為基石的,這可能導致生成的文字難以符合我國的文化背景和價值觀。

三、GPT的多層應用指南

在深入了解GPT模型的原理、及局限性之后,終于可以看看怎么用好這項技術了。我按照感知其能力的直觀性,由淺入深將其分為五層,逐層進行介紹。

一鍵解鎖ChatGPT原理與應用

第一層:聊天能力

在此類用法中,GPT的回答就是給客戶的交付物,是GPT模型最簡單、最直觀的用法。

1)套殼聊天機器人

通過使用OpenAI官方接口,開發的套殼聊天機器人產品。這類產品之所以存在,原因懂得都懂。否則,用戶為何不直接使用ChatGPT呢?此類產品難以形成現象級應用,且競爭激烈。由于比較灰色且內容未經過濾,網站被封后又換域名的故事將持續上演。

2)場景化問答

這種模式對GPT的回復場景進行了約束。通過限定提示詞、嵌入大量特定領域知識以及微調技術,使GPT能夠僅基于某類身份回答特定類型的問題。對于其他類型的問題,機器人會告知用戶不了解相關內容。

這種用法可以有效約束用戶的輸入,降低許多不必要的風險,但是想訓練一個出色的場景化機器人,也需要投入許多精力。典型應用包括智能客服、智能心理咨詢和法律咨詢等。微軟的new Bing正是此類應用的杰出代表,其俏皮傲嬌的回復風格,深受網友的喜愛。

第二層:語言能力

在本層,我們充分發揮ChatGPT的語言天賦,輔助各種基于文字的處理工作。從這一層開始,需要使用one-shot或few-shot(在提示詞中給ChatGPT一個或多個示例)來提升ChatGPT的表現。與用戶的交互不再局限于聊天窗口,提前預制提示詞模板,用戶只能輸入限定的信息,對應提示詞的空槽位。

一鍵解鎖ChatGPT原理與應用

預制帶槽位提示詞模板的應用基本流程如下:

一鍵解鎖ChatGPT原理與應用

1)文字處理類

此類應用主要有三種用法:

① 文章提煉

可以輸入文章段落,要求提取段落主旨。但受token數限制,難以總結整篇文章。也可要求生成短標題、副標題等。在提示詞中預留【案例】槽位,讓用戶輸入一些參考案例,GPT便可以學習相應的風格,進行針對性的輸出。

② 潤色/改寫

可用于文章的初步潤色,能夠消除錯別字、錯誤標點等。

改寫則可以轉換文章風格,如更改成小紅書風格等。

③ 文章擴寫

在有大綱基礎上,分段進行文章擴寫。受token限制,如一次要求過長,輸出的擴寫難以做到前后呼應。ChatGPT本身不會產生新知識,文章擴寫難以寫出深刻見地,只能生成口水文。通過給定關鍵詞和案例,要求生成有規律的短文案,是應用其文章擴寫能力的有效方法。

2)翻譯

GPT模型訓練時學習了大量語言,具備跨語言能力。無論用何種語言與其溝通,只要理解意圖,分析問題能力是不區分語言的。因此,翻譯對GPT來說很輕松。當然也僅限基本翻譯,不要指望其能翻譯的“信、達、雅”。

3)情感分析

GPT能理解文字背后的用戶情緒。例如,在客服模塊引入GPT能力,基于用戶語音和文字快速判斷情緒狀況,提前識別潛在客訴,在情緒爆發前進行有效安撫。

第三層:文本能力

在這類應用中,GPT的能力已經超越了語言,它通過大量學習,凡是與文本相關的任務,都能勝任。它甚至具備真正的學習能力,使用few-shot技巧,能解決訓練數據中不存在的問題。本層的應用范圍極廣,將迸發出大量極具創造力的產品。我在這里僅舉一些典型例子。

1)寫代碼

ChatGPT能編寫SQL、Python、Java等代碼,并幫忙查找代碼BUG。與撰寫文章的原因類似,不能要求其編寫過長的代碼。

2)寫提示詞

要求GPT創作提示詞是與其他AI聯動的簡單方式。例如,要求GPT為midjourney撰寫提示詞,已成為非常主流的做法。

3)數據分析

ChatGPT可以直接進行數據分析,或與EXCEL配合進行數據分析。它將數據分析操作成本降至極低,大幅提升了數據分析的效率。

第四層:推理能力

在前幾層中,我們已經見識了GPT的推理能力。以GPT的推理能力替代手動點擊操作流,將帶來B端和C端的產品設計的顛覆式變化。個人認為,短期內B端的機會大于C端。經過互聯網20年的發展,C端用戶的主要需求已基本得到滿足,顛覆C端用戶的操作路徑會帶來較大的學習成本。而B端則有很大的發揮空間,這里將其分為三個階段:

1)自動化工作流串聯

利用ChatGPT理解人類意圖的能力,結合langChain技術將提示詞和公司內各項工作的網頁鏈接整合。員工無需尋找各種鏈接,在需要執行相關操作時,會自動跳轉到相應頁面,進行下一步操作。以ChatGPT為智慧中樞,實現將B端各類操作有機整合。下圖為設計思路的示例。

一鍵解鎖ChatGPT原理與應用

2)AI輔助決策

以第一個階段為基礎,將對應頁面的部分功能與GPT聯動。這樣,在員工執行操作時,部分功能可以由AI實現,成倍提升效率。微軟Copilot正是這類產品的代表,比如可以實現在Excel中說明自己想要進行的數據分析,無需尋找相關公式,數據分析就自動做好了。

3)全自動AI工作流

本階段目前還處于演示層面,呈現了未來的愿景。如前文所述,GPT很難解決特定領域的細節問題,除非針對某個場景進行大量的微調與私有數據部署。AutoGPT、AgentGPT都屬于此類。

第五層:國產大模型

AI技術是科學而非神學,大模型的原理也不是秘密。美國能做到,我國不僅能,而且有必要。只要訓練數據質量達標,模型參數突破千億便具備推理能力,突破八千億可與GPT-4匹敵。采用大量中文語料和中文微調,我國必將擁有符合本國文化背景、價值觀的大模型。

然而,路漫漫其修遠兮,困難也是極多的,如:訓練成本極高、訓練數據質量要求高、模型優化復雜、馬太效應明顯等。因此,預計在未來五年內,中國最多只會有3家知名大模型服務商。

大模型是AI時代的基礎設施,大部分公司選擇直接應用,直接獲取商業價值。在這個大背景下,愿意投身自有大模型的公司就更加難能可貴了。在此,我謹代表個人向那些勇于投身于自有大模型建設的國內企業表示敬意。

四、總結

總的來看,ChatGPT是一款跨時代的產品。不同層面對GPT技術的應用,體現出了一些共性的機會。我總結了三項未來具有巨大價值的能力。

1. 問題分解技術

鑒于GPT回復的限制在于最多只能基于32,000個tokens,因此有效地將問題分解成子問題并交由GPT處理顯得尤為關鍵。未來的工作模式可能將問題拆解為子問題,再組裝子問題的解決方案。在具體實施時,還需要對子問題的難度進行判斷,有些問題可以交給一些小模型處理,這樣就可以有效的控制應用成本。

2. 三種調優方法

想要讓GPT在多個層面上發揮特定的作用,主要有三種交互方式,成本從低到高分別為:

一鍵解鎖ChatGPT原理與應用

① 提示詞優化

通過探索找到最優提示詞模板,預留特定槽位以供用戶輸入。僅通過提示詞優化就能實現廣泛功能,許多基于GPT的產品,其底層就是基于特定提示詞的包裝。好的提示詞需包含角色、背景、GPT需執行的任務、輸出標準等。根據業界的研究,好的提示詞能使GPT3.5結果的可用性由30%飆升至80%以上。提示詞優化毫無疑問是這三種方法中最重要的。

② embedding

這是一種搭建自有知識庫的方法,將自建知識庫使用embedding技術向量化,這樣GPT就能基于自有數據進行問答。

③ 微調(finetune)

通過輸入大量問答,真正教會GPT如何回答某類問題,成本較前兩者更高。優勢在于將提示詞的短期記憶轉化為私有模型的長期記憶,從而釋放寶貴的Token以完善提示詞其他細節。

以上三種方式并不沖突,在工程實踐中往往互相配合,特別是前兩種。

3. 私有數據積累

私有數據集的價值得到進一步提升,各行業可基于此對GPT進行二次包裝,解決特定領域問題。建議使用微軟Azure提供的GPT接口,搭建帶有私有數據的大語言模型產品。因微軟面向B端的GPT服務為獨立部署,不會將私有數據用于大模型訓練,這樣可以有效保護私有數據。畢竟私有數據一旦公開,價值將大打折扣。

憑借以上幾項能力加持,大語言模型可以充分釋放在解決依賴電腦的重復性勞動的生產力。我將下一個時代(3年內)的業務運轉模式總結如下圖:

一鍵解鎖ChatGPT原理與應用

企業會根據三大能力衍生出三大類角色:

① 問題分解者

這類角色很清楚大語言模型能力的邊界,能夠將一個業務問題有效的分解為GPT能處理的子問題,并能根據問題結果,將子問題進行拼裝。

② 提示工程師

這類角色深諳與GPT溝通之道,能夠根據不同的問題類型,給出有效的提示詞模板,極大提升GPT的輸出質量。

③ 知識擁有者

這類角色有大量的行業knowhow,并且能夠將知識進行結構化,傳授給GPT。對應現在的領域專家。

在這種模式的推動下,GPT將會成為企業提效的重要幫手,可以解決大量重復勞動,可以提供有價值的參考。但人的主觀能動性仍起決定性作用。

五、寫在最后

以GPT-4為代表的AI技術當前的水平,帶來的效率提升已經令人震驚,更遑論其仍以飛快的速度進化。從技術革命的發展史來看,一項大幅度提效的新技術出現,往往先惠及B端,而后才慢慢在C端開始釋放巨大的價值。這是由企業對效率天然的敏感性所決定的,而改變C用戶的習慣需要大量學習成本與場景挖掘,滯后效應較強。舉三個例子:

  1. 回顧第一次工業革命,蒸汽機的出現先導致了紡織女工的大量失業,而后才挖掘到各種C端場景,推動了社會生產力的大幅度上升。
  2. ChatGPT可以更快的生成口水文,但是C端用戶對閱讀的訴求沒有增加。對于營銷號公司來說,效率提升了,所需要的小編變少了。
  3. MidJourney可以快速出游戲貼圖,但是這并不會導致更多的人愛玩游戲,那么需要畫師就少了。

一場信息化企業的效率革命就要到來了,依靠電腦的重復勞動將會消失,因為大模型最擅長學習固定的套路。正如我文初所說,像IBM公司縮減7800個編制的案例,只會發生的越來越頻繁。

AI時代真的已經到來。每個崗位都需要思考、學習,如何讓AI成為工作上的伙伴。

校對:臧1、小宇、GPT-4

作者:AI時代新產品

來源:AI時代新產品


原標題:一鍵解鎖ChatGPT原理與應用

關鍵詞:ChatGPT

*特別聲明:以上內容來自于網絡收集,著作權屬原作者所有,如有侵權,請聯系我們: admin#shaoqun.com (#換成@)。
CBME大灣區孕嬰童展深圳國際孕嬰童及跨境博覽會加入官方社群
  • 免費行業報告下載
星空跨境
跨境電商干貨分享網站,最新的亞馬遜、全球速賣通、eBay、Wish商戶平臺、敦煌網、Shopify、Lazada、Etsy等電商平臺賣家開店運營課程,以及外貿電子商務B2B和B2C平臺網絡營銷,Dropshipping,英文SEO,海外SNS營銷,Facebook,YouTube,LinkedIn,Twitter,Instagram,Snapchat,Pinterest,Tumblr以及EDM精準郵件營銷等推廣營銷實戰培訓。

該作者最新發布文章

官方社群 & 賣家交流群

相關推薦

資源工具下載

我的瀏覽記錄

用小程序打開用小程序打開更快
欧美大香伊人蕉影院最新_天堂新版中文在线最新版下载_国产国语对白露脸_真实国产乱子伦对白视频