國立臺灣師範大學跨域科技產業創新研究學院（以下簡稱產創學院）在低資源本土語言 AI 語音辨識領域取得重大突破！由AI 跨域應用研究所李鴻欣助理教授（產創學院主聘）與資訊工程學系陳柏琳教授（產創學院合聘）共同指導三位臺師大研究生所組成的研究團隊，其研發成果論文榮獲計算語言學與自然語言處理領域之頂級國際會議 EMNLP 2026（Conference on Empirical Methods in Natural Language Processing）接受為 Main Conference 長論文（Long Paper）。
EMNLP 與 ACL、NAACL 並列為全球自然語言處理（NLP）與語音語言技術的最高殿堂，每年競爭極為激烈，今年長論文錄取率僅約16%，展現臺師大產創學院在跨領域前瞻 AI 研發與人才培育上的頂尖實力。
突破本土語言「資料匱乏」困境：讓 AI 真正聽懂臺語與客語
語音辨識（ASR）是當代智慧語音助理、自動字幕與在地化 AI 應用的核心技術。然而，對於臺灣臺語、客語等「低資源語言（Low-Resource Languages）」，由於缺乏大規模標註的語音與文字對照資料，傳統 AI 往往因「練習量不足」而頻繁聽錯，成為推動本土語言數位保存與智慧應用的一大瓶頸。
傳統語音辨識模型在辨識本土語言時，經常面臨兩大難題：
- 「純聽音」容易聽錯同音字：如同剛學語言的外國人，只聽發音很容易把發音相似但意思完全不同的字詞搞混。
- 「純猜意」容易憑空腦補：若僅依賴語意猜測，AI 容易脫離說話者的實際發音，產生「文意通順卻根本沒人說過」的幻覺詞彙。
首創「語意＋語音」雙重錨定機制（SAMA-ASR）：像是「邊看大意邊聽音」
為了解決這個長年痛點，臺師大研究團隊創新提出輕量化模型架構——SAMA-ASR（語意感知多模態適配器，Semantic-Aware Multimodal Adapter）。
這項技術的精妙之處，在於為 AI 打造了一套「雙重校正錨點」：
- 語意錨點（Semantic Anchor）：在辨識時，系統會先自動透過語音翻譯生成一段華語（中文）大意，讓 AI 先掌握「整句話大概在講什麼」，迅速排除發音相近但語意不合的錯誤選項（例如：避免把「到銀行」聽成「教囡仔」）。
- 語音錨點（Acoustic Anchor）：在掌握語意的同時，AI 仍緊緊鎖定原始說話聲音的發音特徵，防止 AI 憑空腦補與語音不符的字詞（例如：避免因看見「公家機關」就自己猜成「交警方」）。
更具突破性的是，該系統在實際使用時完全不需要人工預先提供翻譯，而是能由輕量化的翻譯模組自動生成語意指引，兼顧高效能與即時實用性。
評測表現亮眼 兼具文化傳承與產業應用價值
研究團隊在臺語與客語 的 30 小時低資源挑戰評測中進行驗證。實驗結果顯示，SAMA-ASR 在各項辨識指標上均顯著超越現有的音訊微調與文字引導基準模型，字錯誤率（CER）大幅降低；在結合輕量微調技術（LoRA）時，更能在既有基礎上再提升超過 12% 的辨識表現。
這項成果不僅在學術理論上重新定義了低資源語音辨識的解題架構，更具備高度的實務應用潛力：
- 本土文化數位保存：加速歷史訪談、地方劇目與耆老口述歷史的自動字幕轉寫與文檔整理。
- 智慧在地化服務：支援醫療長照諮詢、公共便民系統、客服對話中臺語及客語的即時精準辨識。
- 語言教育學習：提供更精確的母語發音辨識與即時回饋系統。
產創跨域合作 攜手培育前瞻 AI 實戰人才
產創學院表示，本次獲獎論文由三位碩士班研究生在兩位教授的悉心指導下，展現了從前瞻演算法設計、多模態架構創新到大規模實驗驗證的完整研發能力，成果能登上國際頂尖舞台，全院師生同感振奮。
未來，產創學院將持續深化人工智慧於多元產業與在地文化議題的跨域結合，推動更多前瞻研究成果走向國際；相關核心技術未來亦將導入與「易晨智能」（EZAI）的產學合作中，加速研發成果落地，具體落實於產業升級與社會應用。
【論文資訊】
- 論文題目：Anchoring Speech with Semantics: A Multimodal Adapter Mechanism for Automatic Speech Recognition in Low-Resource Languages
- 發表會議：The 2026 Conference on Empirical Methods in Natural Language Processing (EMNLP 2026), Main Conference (Long Paper)
- 論文作者：臺師大研究生團隊、李鴻欣助理教授（AI 所 / 產創學院）、陳柏琳教授（資工系 / 理學院）