都說醫療、金融等專業領域的語料數據稀缺，制約大模型AI的發展，那能不能讓兩個ChatGPT對聊，聊出點數據出來？

5月28日，天橋腦科學研究院（Tianqiao &Chrissy Chen Institute, TCCI）主辦AI For Brain Science系列會議第二期—— “面向AI模型的數據生成方法及其對醫療領域的啟示”。在上海交通大學計算機科學與工程系副教授吳夢玥主持下，三名青年科學家分享了關于破解大規模語言模型（LLM）數據瓶頸的看法和實踐。

自對話和自蒸餾訓練——快速構建專屬GPT

(資料圖片僅供參考)

國際上一項研究評估指出，ChatGPT回答癌癥相關問題的水平已經與美國國家癌癥研究所的官方回答持平。然而，ChatGPT只能通過受限的API進行訪問。涉及到個人醫療，人們也普遍不希望將自己的隱私信息分享給第三方公司。

針對這樣的難題，加州大學圣迭戈分校博士生許燦文和中山大學團隊的合作者提出了一種能自動生成高質量多輪聊天語料庫的流程，利用ChatGPT與其自身進行對話，生成對話數據，再基于產生的對話數據調優、增強開源的大型語言模型LLaMA。他們從而獲得了高質量的專屬模型“白澤”，并在數天前推出了2.0版本。這個名字的靈感來源是中國古代傳說中的一種神獸，“能言語，達知萬物之情”。

許燦文介紹道，白澤在這個過程中并沒有學會新的知識，只是提取了大模型中的特定數據，并且保留了ChatGPT 分點作答、拒絕回答等強大的語言能力。這在專業上被比喻為一種“蒸餾”。進一步地，他們提出了反饋自蒸餾的概念，即利用ChatGPT當教官，對白澤回答的結果進行評分排序，從而進一步提高了白澤模型的性能。

許燦文認為，白澤通過自動化的知識蒸餾，在特定領域達到ChatGPT的能力，成本卻遠遠低于ChatGPT，兼具經濟意義和實用意義。在醫療領域，本地化或私有化建構的模型將有利于消除隱私顧慮，輔助患者診療。未來也許每個人都將有自己的專屬AI助手。

一種新的數據生成策略：大模型優化醫療文本挖掘

萊斯大學博士生唐瑞祥和合作者同樣基于大模型提出了一種新的數據生成策略，并在命名實體識別(NER)、關系提取（RE）等經典的醫療文本挖掘任務上取得了更好的表現。

ChatGPT具有創造性的寫作能力，在醫療、金融、法律等標注數據很少的領域以及知識密集型領域表現出色。然而，具體到醫療文本挖掘，他們發現將ChatGPT直接應用大型模型處理醫療文本的下游任務，表現并不總是優秀，也可能引發隱私問題。

唐瑞祥等提出了一種新策略：利用大型模型生成大量醫療數據，再通過小型模型對這些數據進行訓練。實驗結果顯示，相較于直接利用大型模型執行下游任務，這一新策略能夠取得更出色的效果，同時因為模型數據在本地，也大幅降低了潛在的隱私風險。

他們進一步指出，隨著開源大模型數量的增加和大模型能力的提升，其產生的文本數據與人類產生的文本數據的差別將越來越小，發展檢測二者差別的技術手段將是一項富有挑戰性的工作。現有的兩種檢測手段，無論是黑盒檢測——直接比較大模型生成的文本數據與人類生成的文本數據（比如比較高頻詞分布），還是白盒檢測——開發者在生成文本上做標簽，在未來都可能失效。能否有效地檢測出數據是不是GPT生成的，將影響到廣大用戶對大模型AI的信任程度。

大模型時代的數據生成有什么不一樣？

那么，從歷史演變的角度來看，在沒有GPT的時代，科學家們如何解決數據稀缺難題？大模型又帶來了哪些新趨勢？

上海交通大學博士生曹瑞升對大模型時代來臨前夕，基于深度學習模型進行自動化數據生成或增廣方面的研究，尤其是反向生成進行了回顧性的總結。深度學習本質上是一種找出從輸入x到輸出y的映射的過程，所以需要大量的 (x, y)數據對來訓練。在醫療這樣不容易獲得大量真實數據的領域，就需要人為生成更多的(x, y)數據對。

曹瑞升將數據生成拆解為三個主要模塊。第一個是針對標簽（y）的生成，介紹如何對將生成的標簽與真實數據的分布進行耦合比較。第二個模塊是在生成數據時，介紹生成初始數據（x）的方法和限制。第三個模塊是在形成完整的數據(x, y)對之后，應該如何保證數據質量。

隨著大語言模型規模的不斷增大和能力的不斷提升，其生成的數據質量也越來越高。這種生成數據所訓練得到的模型不僅可以解決簡單的任務，如文本分類，還可以應對問答等更加復雜的任務。

展望未來，曹瑞升總結了數據生成在大模型時代的幾大新趨勢。首先是構建更加通用的模型，以確保其能夠應用于多樣化的任務。這意味著模型需要具備廣泛的適應性和泛化能力。其次是從特定任務出發，進一步精細化地處理。例如，在醫療領域，甚至可以針對特定類型的抑郁癥進行專業化的任務處理，提供更加精準和個性化的解決方案。最后，數據生成和模型訓練的過程將從分離走向融合，而為了保證數據質量的硬性過濾也將逐漸被軟性控制所取代。

數據生成研究與應用的發展，為大模型AI走向各個專業領域，尤其是醫療領域提供廣闊的可能性。TCCI致力于支持全球范圍內的腦科學交流，僅2022年就主辦、合辦、支持了近200場會議，遍及北美、亞洲、歐洲和大洋洲。AI For Brain Science系列會議致力于促進AI與腦科學研究人員的討論合作，將持續聚焦領域內的數據瓶頸和關鍵痛點，為大模型AI的未來突破提供創新土壤，促進前沿AI技術在腦科學領域發揮更大的價值。

TCCI由盛大集團創始人，中國網絡游戲、網絡文學行業開創者陳天橋、雒芊芊夫婦出資10億美元創建，聚焦AI＋腦科學，支持、推進全球范圍內腦科學研究，造福人類。TCCI一期投入5億元人民幣支持中國腦科學研究，與上海周良輔醫學發展基金會合作成立上海陳天橋腦健康研究所，與華山醫院、上海市精神衛生中心等建立戰略合作，設立了應用神經技術前沿實驗室、人工智能與精神健康前沿實驗室。在國際上，TCCI與加州理工學院合作成立TCCI加州理工研究院。

關鍵詞：