朱松純

朱松純，（Song-Chun Zhu，1968年－），湖北鄂州人，美國加州大學洛杉磯分校（UCLA）統計學系與計算機系教授，研究範圍涵蓋計算機視覺、統計建模與計算認知科學、機器學習、自主機器人等領域。

朱松純於1996年獲哈佛大學計算機博士學位，師從國際數學大師大衛·曼福德教授，在國際頂級期刊和會議上發表論文300餘篇，並三次問鼎計算機視覺領域國際最高獎項——馬爾獎。在認知科學領域，如視覺常識推理、場景理解等領域做出重要貢獻。朱松純在1990年代率先將概率統計建模與隨機計算方法引入計算機視覺研究，提出了一系列圖像與視頻的結構化解譯的框架、數理模型和統計算法，發展了廣義模式理論 [General Pattern Theory]。

目錄

工作經歷

朱松純於2002年加入加州大學洛杉磯分校統計系與計算機科學系，擔任副教授，並於2006年晉升為正教授。 朱松純組建了UCLA視覺、認知、學習和自主中心（Center for Vision, Cognition, Learning and Autonomy，VCLA），並領導了美國多個大型跨學科AI項目。他長期致力於構建計算機視覺、認知科學、乃至人工智能科學的統一數理框架，其中包括作為統一表示形式的時空、時間和因果圖（STC-AOG）以及用於推理和學習的眾多蒙特卡洛方法 。

2005年，朱松純聯合沈向洋 [Harry Shum] 等多位知名科學家在中國湖北省鄂州市創建民辦、非營利性國際交流平台——蓮花山研究院，並任院長。研究院的一個先期項目是收集大量的圖像，手工標註圖像中的場景、物體和部件、關係、功能等，至2010年已積累超過50萬張圖像數據，是發展計算機視覺的物體識別和圖像解譯任務的先行者。

朱松純組織過多場學術研討會及會議。在2012年羅德島普羅維登斯舉行的計算機視覺與模式識別（CVPR）會議上，朱松純作為大會主席向Ulf Grenander頒發了先鋒勳章（Pioneer Medal）。2019年CVPR在美國加州長灘舉行，朱松純再次擔任大會主席。

2017年7月，朱松純在美國洛杉磯創立暗物智能科技DMAI，致力於打造基於強認知AI的技術平台。

Song-Chun Zhu

]

學術成果

朱松純已在國際頂級期刊和會議上發表論文300餘篇，其研究成果集中在以下四點：

一、視覺的統計建模與計算理論 —— 為馬爾的視覺理論建立統一的數理模型

1995-2005年期間，朱松純教授與導師曼福德、UCLA教授以及博士生，為計算視覺創始人馬爾提出的早期視覺 [early vision] 概念， 包括紋理 [texture]、圖像基元 [Texton] 以及原始簡約圖 [primal sketch] 等建立了一個統一的數理模型；提出統計建模的最小最大熵原理 [minimax entropy principle]；將神經學和心理學的發現，植入統計物理的吉布斯模型 [Gibbs Model]， 從而導出一類新型的馬爾科夫隨機場的概率模型 [FRAME]，並將該模型擴展到中層視覺模型，描述形狀與格式塔 [Gestalt] 組成原則；發現自然圖像的尺度不變與尺度變化的統計規則，將各種視覺模式及其對應的數理模型映射到一個連續的熵頻譜 [entropy spectrum] 和信息尺度 [information scaling]；進一步研究了各種模型之間跳轉和感知轉化 [perceptual transition] 的機制，與博士生王亦洲 [現為北大教授] 導出感知尺度空間理論 [perceptual scale space]。

在1990年代，朱松純發展了兩類新的非線性偏微分方程（PDE）。 一類用於圖像分割，將PDE連接到統計圖像模型的這項工作在ICCV 2013上獲得了赫爾姆霍茨獎。另一類稱為GRADE（Gibbs Reaction and Diffusion Equations，吉布斯反應和擴散方程）於1997年發表，並採用Langevin動力學方法進行推理和學習隨機梯度下降。（Stochastic gradient descent，SGD）。

二、實現圖像與場景的解譯（parsing）計算框架 —— 擴展了模式識別創始人傅京孫先生的句法模式識別理論

1999-2010年期間，朱松純與其首位博士生屠卓文 [現為UCSD教授] 提出用數據驅動的蒙特卡洛馬爾可夫鏈方法[Data-Driven Markov Chain Monte Carlo]求圖像分割和解譯 [Image Parsing] 問題的全局最優解；與其博士生Adrian Barbu [現為FSU教授] 提出了 Swendsen-Wang Cut [SWC] 的蒙特卡洛算法，在通用的概率採樣 [sampling] 計算中，實現大的狀態跳轉，突破傳統方法計算的瓶頸問題。

該領域的這一進步使拆分合併運算符在文獻中首次可逆，並且比吉布斯採樣器和跳躍擴散方法快了100倍。 這一成就促成了圖像解析方面的工作，使朱松純在ICCV 2003中獲得了馬爾獎。

2006-2015年間，朱松純教授提出了概率隨機的與或圖 [and-or graph] 模型來表達上下文相關圖語法 [graph grammar]，重啟了模式識別領域創始人傅京孫先生倡導的句法模式識別框架；提出時空因果與或圖 [Spatial，Temporal，Causal And-or graph STC-AOG] 為物體、場景、事件和因果關係建立統一的模型，並用於場景與事件的解譯任務。

三、提出人工智能的「暗物質」 —— 研究視覺與認知的物理與社會常識

自2010年以來，朱松純將計算機視覺與認知科學、自然語言理解、機器人等學科結合，探索他所稱的「人工智能的暗物質」——占95％的、無法通過感知輸入觀測到的智能。

與認知科學的結合：通過常識推理 [如物體和場景的物理屬性、使用功能、行為的因果] 和社會推理 [人的意圖、動機、目的] 來豐富場景和事件的理解；與自然語言理解的結合：通過人機情景對話來獲取常識，並於2010年率先從圖像和視頻的解譯圖產生文本描述的I2T [Image Parsing to Text Generation] 方法；與機器人結合：研究自主機器人與人類深度合作的認知構架 [cognitive architecture]。 四、探索邁向通用人工智能的新的研究路徑 ——「小數據、大任務」範式'

朱松純在2017年發表了一篇廣為流傳的文章 《淺談人工智能：現狀、任務、構架與統一》。在文中，朱松純將行業中流行的數據驅動型深度學習研究稱為「大數據、小任務範式。該範式使用大量標註的數據為每個特定任務訓練神經網絡，導致AI模型無法解釋、應用範圍狹窄等問題。與之相反，朱松純提出了「小數據、大任務」的範式，主張以此來實現通用人工智能。

朱松純團隊構建了一個大規模、逼真的VR / AR環境，用於訓練和測試負責執行大量日常任務的自主AI個體。這些個體整合視覺，語言，認知，機器學習和機器人技術等領域的能力，在此過程中發展物理和社會常識，並使用認知架構與人類進行交流。

獲獎記錄

2017年，計算建模獎 [Computational Modeling Prize]，國際認知科學學會 [Cognitive Science Society]。

2013年，赫爾姆霍茨獎 [Helmholtz Test-of-Time Award]，第14屆國際計算機視覺大會頒發。

2008年，第二屆 J. K. Aggarwal 獎，國際模式識別協會 [International Association of Pattern Recogonition，每兩年授予一次，每次一人] 。

2007年，馬爾獎榮譽提名，第11屆國際計算機視覺大會。

2003年，馬爾獎 ，第九屆國際計算機視覺大會。

2001年，Sloan fellow， Sloan基金。

2001年，青年教授獎勵基金 [Career Award]，美國國家科學基金委員會。

2001年，傑出青年科學家獎 [ONR Young Investigator Award]，美國海軍研究所頒發。

1999年，馬爾獎 [Marr Prize] 榮譽提名, 第7屆國際計算機視覺大會頒發。

1995年，哈佛大學工程領域 Ali Jury 獎。

1992年，哈佛大學研究生院獎學金。

學術職務

2015-2020年，第二次擔任美國視覺、認知科學、AI領域跨學科合作項目 MURI首席科學家 [Principal Investigator]。

2016年，再次當選國際計算機視覺與模式識別大會 [CVPR] 2019年度主席。

2013年，入選中國科學院海外顧問。

2011-2013年，擔任國際模式識別協會 Aggarwal 獎評選委員會主席。

2012年，擔任電氣和電子工程師學會 [IEEE] 計算機學會會士 [fellow] 評選委員會 副主席。

2012年，擔任國際計算機視覺與模式識別大會 [CVPR] 主席。

2011年，入選電氣和電子工程師學會 [IEEE] 計算機學會會士 fellow。

2010-2015年，首次擔任美國視覺、認知科學、AI領域跨學科合作項目MURI首席科學家。 與朱松純教授_t018116fc718ecda919.jpg_1]

2005年，與Harry Shum等於湖北創建民辦、非營利的國際交流平台蓮花山研究院，並任院長。

著作

圖書

· S.C. Zhu and D.B. Mumford, A Stochastic Grammar of Images, monograph, now Publishers Inc. 2007.

· A.Barbu and S.C. Zhu, Monte Carlo Methods, Springer, 2019.

· S.C. Zhu, AI: The Era of Big Integration – Unifying Disciplines within Artificial Intelligence, DMAI, Inc., 2019.

· S.C. Zhu and Y.N. Wu, Concepts and Representations in Vision and Cognition, Draft taught for 10+ years, Springer, Preparing for 2020.

論文

Zhu, S. C., Wu, Y., & Mumford, D. (1998). FRAME: filters, random fields, and minimax entropy towards a unified theory for texture modeling. International Journal of Computer Vision, 27(2) pp.1-20.

· Y. N. Wu, S. C. Zhu and X. W. Liu, (2000). Equivalence of Julesz Ensemble and FRAME models International Journal of Computer Vision, 38(3), 247-265.

· Tu, Z. and Zhu, S.-C. Image Segmentation by Data Driven Markov Chain Monte Carlo, IEEE Trans. on PAMI, 24(5), 657-673, 2002.

· Barbu, A. and Zhu, S.-C., Generalizing Swendsen-Wang to Sampling Arbitrary Posterior Probabilities, IEEE Trans. on PAMI, 27(8), 1239-1253, 2005.

· Tu, Z., Chen, X.,Yuille, & Zhu, S.-C. (2003). Image parsing: unifying segmentation, detection, and recognition. Proceedings Ninth IEEE International Conference on Computer Vision.

· Zhu, S. C., & Yuille, A. (1996). Region competition: unifying snakes, region growing, and Bayes/MDL for multiband image segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 18(9), 884–900.

· Zhu, S. C., & Mumford, D. (1997). Prior learning and Gibbs reaction-diffusion. IEEE Transactions on Pattern Analysis and Machine Intelligence, 19(11), 1236–1250.

· Zhu, S.-C., Guo, C., Wang, Y., & Xu, Z. (2005). What are Textons? International Journal of Computer Vision, 62(1/2), 121–143.

· Zhu, S.-C., & Mumford, D. (2006). A Stochastic Grammar of Images. Foundations and Trends in Computer Graphics and Vision, 2(4), 259–362.

· Guo, C. Zhu, S.-C. and Wu, Y.(2007), Primal sketch: Integrating Texture and Structure. Computer Vision and Image Understanding, vol. 106, issue 1, 5-19.

· Y.N. Wu, C.E. Guo, and S.C. Zhu (2008), From Information Scaling of Natural Images to Regimes of Statistical Models, Quarterly of Applied Mathematics, vol. 66, no. 1, 81-122.

· B. Zheng, Y. Zhao, J. Yu, K. Ikeuchi, and S.C. Zhu (2015), Scene Understanding by Reasoning Stability and Safety, Int'l Journal of Computer Vision, vol. 112, no. 2, pp221-238, 2015.

· Y. Zhu, Y.B. Zhao and S.C. Zhu (2015), Understanding Tools: Task-Oriented Object Modeling, Learning and Recognition, Proc. of IEEE Conf. on Computer Vision and Pattern Recognition (CVPR).

· Fire, A. and S.C. Zhu (2016), Learning Perceptual Causality from Video, ACM Trans. on Intelligent Systems and Technology, 7(2): 23.

· Y.X. Zhu, C. Jiang, Y. Zhao, D. Terzopoulos and S.C. Zhu (2016), Inferring Forces and Learning Human Utilities from Video, Proc. of IEEE Conf. on Computer Vision and Pattern Recognition (CVPR).

· D. Xie, T. Shu, S. Todorovic and S.C. Zhu (2018), Learning and Inferring 「Dark Matter」 and Predicting Human Intents and Trajectories in Videos, IEEE Trans on Pattern Analysis and Machine Intelligence, 40(7): 1639-1652.

· Zhu, Y. et al (2020) Dark, Beyond Deep: A Paradigm Shift to Cognitive AI with Human-like Commonsense, Engineering special issue on AI.

· S.C. Zhu, (2019) AI: The Era of Big Integration – Unifying Disciplines within Artificial Intelligence, DMAI, Inc..