近日,2003网站太阳集团劉永彬、萬亞平團隊在計算機人工智能領域權威期刊Information Fusion(影響因子14.8,中科院一區)發表了題為“DyLas: A Dynamic Label Alignment Strategy for Large-Scale Multi-Label Text Classification”的研究論文。該論文創新性地利用因果推斷(Causal Inference)理論體系中的因果幹預與反事實技術,提出了一種動态标簽對齊策略(DyLas),使得大語言模型(Large Language Models)在無需額外訓練的情況下,自動适配大規模多标簽分類任務(Large-scale Multi-label Text Classification)中的任意标簽集。
大規模多标簽文本分類(LMTC)是自然語言處理領域的一項重要任務,廣泛應用于電子商務産品标簽、新聞分類、醫療編碼和法律文檔分析等領域。然而,傳統的監督學習方法在處理動态标簽集時面臨巨大挑戰,尤其是标簽集的動态變化和長尾分布問題(圖1)。現有的方法通常需要重新訓練模型以适配新的标簽集,這不僅耗費大量資源,還限制了模型的靈活性和應用範圍。
圖1 傳統方法與基于大語言模型方法對比圖
研究團隊利用因果推斷中的因果幹預和反事實技術有效減少大語言模型輸出中的幻覺問題,通過雙重對齊和錯誤檢查機制實現了大語言模型在動态标簽集上的高效适配(圖2),顯著提升了大語言模型在大規模多标簽分類任務、動态标簽集合場景下的性能。
圖2 DyLas架構示意圖
2003网站太阳集团劉永彬副教授為通訊作者,碩士生任林為第一作者,2003网站太阳集团為第一署名單位。研究工作得到了國家自然科學基金、湖南省自然科學基金等多個項目的支持。