科研進展
   新聞動態
      科研進展
      綜合新聞
      傳媒掃描
現在位置:首頁 > 新聞動態 > 科研進展
非iid條件下分類算法的全局收斂性(張藍天、趙延龍、郭雷)
2022-01-07 | 编辑:

  由于大數據與超級計算技術的發展,機器學習得到日益重視與廣泛應用。以往的機器學習分類算法大都建立在訓練樣本的獨立同分布(iid)等持續激勵條件上,這對絕大數實際應用場景並不適用或難以驗證,例如具有反饋回路的複雜動態系統數據就遠遠不滿足iid條件。此外,機器學習模型的特殊非線性結構而導致的優化指標的非凸性,是機器學習算法全局收斂性研究的主要難點。如何建立非獨立非平穩,特別是一般非持續激勵數據條件下,機器學習算法的全局收斂性理論是著名公開難題。 

  本文針對一類隨機二分類模型提出了一種變投影擬牛頓算法。利用經典的Lyapunov函數方法和鞅收斂定理,首次在不需要樣本獨立同分布的一般非持續激勵條件下,證明了機器學習算法參數估計的全局強一致性。此條件可以退化爲線性隨機回歸模型經典最小二乘算法收斂性的“最弱”條件。此外,在不需要任何獨立性平穩性及激勵性條件下,文章證明了系統沿軌迹均方預測損失這一非凸指標的全局收斂性以及最優收斂率,並以此給出一類自適應控制的設計方法。爲機器學習與反饋控制的在線結合研究開啓了新路。

  本文針對隨機的二分類模型,在理論研究上放寬了通常學習算法對數據的獨立性平穩性或持續激勵性要求,對于將機器學習算法應用在更廣的實際應用場景,特別是包含各種反饋機制的複雜開放動態系統中具有重要意義。 

  同時,基于動態反饋系統,文章對均方預測損失的研究及自適應控制的設計,爲複雜系統中機器學習與反饋控制的結合提供了一種新的研究思路。 

  基于文章中的思想構造司法大數據非線性模型學習算法,取得良好預測效果。 

文章投稿控制領域頂刊Automatica,僅曆時5個月被接收爲長文,審稿人評價研究成果是”Significant contribution”   

 

  

“Identification and Adaptation with Binary-Valued Observations under Non-Persistent Excitation Condition”accepted by Automatica2021.
附件下載:
 
 
【打印本頁】【關閉本頁】
電子政務平台   |   科技網郵箱   |   ARP系統   |   會議服務平台   |   聯系我們   |   友情鏈接