大型語言模型 (LLMs) 使用生成式預訓練轉換器，已被確立為生成式人工智慧時代的核心技術。在語音、音訊、文本、圖像與影片等領域，已開發並實作出多種應用，使各式各樣的 LLM 成為我們日常生活的一部分。鑑於 LLM 在當今與未來世界中的關鍵角色，本計畫聚焦於在不同領域與系統中，以各種模態建構與應用 LLM 所面臨的一系列挑戰性課題，涵蓋的應用範圍包括語音識別／合成、多語言語言處理、情感分析／生成、具同理心的對話生成、多模態溝通等。本研究探討的重點議題包括 LLM 的模型泛化能力、學習效率、領域適應性、多樣性對話生成以及可信賴的生成等問題。本計畫從三個面向探討 LLM 表徵學習所面臨的研究挑戰。

首先，透過整合基於擴散模型的強大生成過程，提升 LLM 訓練的豐富性與嚴謹性。特別地，本計畫發展擴散模型來實現自然句子的「先易後難」生成，以及語意圖像的解耦式生成。我們提出對比混合擴散模型，執行連續與離散的擴散步驟進行文本生成，並藉由對比目標來促進在早期生成常見／簡單詞語，在後期生成特定／困難詞語。此外，亦提出解耦式注意力機制，以實現高品質的文字轉圖像生成。進一步地，本研究探討基於擴散的 LLM 在語音識別任務中的非自回歸生成能力，結合連接時序分類進行實作。

第二，針對對話生成中的幻覺現象問題，透過提升 LLM 的可靠性與可信賴性，減緩過度自信回應的影響。為確保彈性 LLM 的使用安全性，本研究構建一個針對檢索增強生成 (RAG) 的優化問題，透過變分去幻覺學習軟提示詞，以達成事實準確性。此外，最大化檢索到的前k筆與後k筆樣本之間的互資訊。本計畫亦進一步透過強化學習 (RL) 來改善 RAG，學習一個知識編碼器、檢索嵌入器以及答覆代理，進而構建所謂的強化型 LLM，並提出一個專用的獎勵函數。另外，白箱LLM可與黑箱LLM協作，進行具信心感知的提示詞優化：透過黑箱 LLM 進行知識式信心校準處理過度自信的回應，並使用信心感知獎勵函數，透過 RL 在白箱 LLM 上學習調適器以優化軟提示詞。第三，本計畫亦探討語音與文本表徵的表達能力與穩健性，整合語音、文本與圖像 LLM，以實現具有同理心的語音合成與對話回應文本生成。

總體而言，本提案針對 LLM 所面臨的各種基礎議題進行研究，並開發語音、文本與圖像生成的實用應用，以建構一個跨領域、多模態且具同理心的對話系統。