今年6月下旬,上海科技大學信息科學與技術學院(以下簡稱為“上科大信息學院”)多篇學生論文連續亮相國際頂級學術會議,斬獲最佳論文或最佳論文提名。
6月19日,計算機圖形學重量級國際會議SIGGRAPH 2024技術論文獎揭曉,上科大信息學院兩項3D資產生成工作獲得最佳論文榮譽提名。次日,IEEE國際計算機視覺與模式識別會議(CVPR)揭榜,上科大信息學院學生與合作者的文章摘得最佳學生論文獎。6月28日,第61屆設計自動化國際會議(DAC)公布獎項,上科大信息學院師生科研團隊再次斬獲一個最佳論文獎提名。

上科大信息學院學生與合作者的文章摘得CVPR最佳學生論文獎。本文圖片均為 受訪者 供圖
十天時間,同一學院四項研究成果接連在國際頂會中脫穎而出,高密度的同時有著高含金量。據悉,本屆SIGGRAPH共評選出5篇最佳論文、12篇最佳論文榮譽提名。CVPR 2024共有11532篇提交論文,接收2719篇,最終僅有10篇論文獲獎,最佳學生論文更是只有2篇。DAC今年共收到1435篇論文,錄用337篇。其中,僅有1篇最佳論文獎和3篇最佳論文獎提名,入選率為0.27%。
同樣值得一提的是,參與獲獎課題研究的學生橫跨信息學院本碩博各個階段,兩篇獲得SIGGRAPH最佳論文榮譽提名的論文之中,更有一篇是由本科生作為第一作者。鼓勵本科生參與科研,跳脫傳統高校專業劃分,上科大為師生提供了足夠活躍的科研土壤。
學生主導科研,創新思想攻克前沿
縱觀各項成果,上科大信息學院執行院長虞晶怡告訴澎湃新聞(www.thepaper.cn)記者,最顯著的是這些論文都是由學生主導,學生提出非常創新的思想,而老師更多時候是支持和輔助。

通過CLAY生成的3D模型
SIGGRAPH的兩項獲獎成果均涉及3D的AI生成。CLAY是全新的3D原生Diffusion Transformer生成式大模型,旨在輕松將想象力轉化為3D模型。CLAY由一個擁有15億參數的模型構成,擅長創建高質量、逼真的3D資產。
作為課題負責人之一的許嵐教授表示,CLAY所做的“文生3D”背后的神經網絡模型和“文生視頻”的SORA一致,但最終的表達形式不同。與多數3D生成的大模型是利用多視角二維圖案進行生成不同,CLAY所做的是“文生3D”的原生技術,對3D資產有獨特的處理,強調生成內容的可控性和交互性,且它所能生成的3D模型質量,基本是目前學術界和工業界之最。CLAY所承載的技術,對于游戲、電影等數字娛樂產業的發展會有顯著的拔高。

DressCode展示了一種專為3D服裝設計的生成式AI框架
DressCode則是由本科生作為主導產出的研究成果,第一作者何開是上科大在讀大四學生。DressCode利用自然語言的能力,集成了用于縫紉圖案生成的SewingGPT和經過微調的擴散模型來合成PBR紋理,展示了用于服裝生成、補全和編輯的交互友好應用。這種專為3D服裝設計的生成式AI框架,生成結果完全符合生產和游戲制作領域的需求。把版圖設計和生成模型拼接起來,對于圖形學領域的研究是一個重大突破。
事實上,3D生成的方向起初并不為指導老師們所看好,師生之間也曾經過反復討論,有老師認為生成式人工智能的研究或許不是今年圖形學領域關注的重點。但最終,學生所展現出的執行力得到了意料之外的反饋。
斬獲CVPR最佳學生論文獎的,是由上海科技大學、捷克技術大學、德國圖賓根大學、圖賓根人工智能中心共同發表的“Mip-Splatting: Alias-free 3D Gaussian Splatting”(利用多層級的高斯潑濺方法來實現高清三維重建和自由視角渲染)。該項研究攻克了畫面渲染的技術難題,有效提升了三維重建的清晰度問題,論文的前三位作者均為上科大在讀或畢業學生。許嵐確信,這一成果將有效促進數字孿生的技術應用降本增效,是數字城市建設和發展的必經之路。
獲DAC提名的論文是“LLM-HD: Layout Language Model for Hotspot Detection with GDS Semantic Encoding”(利用大語言模型對芯片版圖進行編碼及光刻熱點檢測)。團隊提出了全新的“語言模型+高性能GPU”的版圖熱點檢測范式,為大語言模型應用到集成電路制造、量測奠定了理論和工程基礎。這也是首次有人用自然語言處理的方式去處理芯片制造中缺陷檢測的問題,史無前例。

上科大信息學院獲獎師生(部分)
打破傳統高校專業理念,鼓勵本科生參與科研
與傳統高校的培養方式不同,上海科技大學作為一所創新型研究型高校,從課程安排到專業設置,一直以各種方式尋求教育方法的突破,鼓勵學生在本科階段就主動參與科研。
在人工智能領域,前沿科研成果迭代極快,課堂上講授的內容常常跟不上現實中科研的進展。因此創新的潛力往往在于年輕人,而學校要培養的,是學生自主學習的方法與鉆研的態度。CVPR2024最佳學生論文獎獲得文章的第一作者,信息學院2021屆碩士生余澤浩表示:“學習《隨機過程》這門課時,邵子瑜教授對教學參考材料的選擇和使用十分嚴謹,他對采用的內容進行驗證和校正,而不是簡單的復制,給我留下很深刻的印象。”
教育不能再是“填鴨式”的。上科大有一門《信息科學技術導論》課程,作為通識課要求全校學生修習,但這門課并不輕松。課堂上只講授基礎的理論知識,學生需要在課后花費更多的時間與精力去學習鉆研。
此外,信息學院幾乎所有的課程都是“本研一體”,本科生和研究生一同授課。成績的考量往往不是通過考試,而是憑借最終的課題設計。選題可以很開放,也可以和老師探討,通過這種方式,學生能夠清晰地了解到科研的流程與分工是怎樣的,為其將來的科研工作奠定堅實的基礎。
學界與工業界的耦合同樣是教學過程中的重點。虞晶怡告訴記者,信息科學不能只是紙上談兵,書本上都是上世紀的問題,而本世紀有很多重要的問題,需要通過工業界來學習和了解。因此要鼓勵教授和學生參與創業,比如CLAY的完成單位中,就有學生創業企業影眸科技的身影。
專業設置上,上科大只分學院而不進行專業細分。信息學院內并沒有計算機系、電子工程系之類的劃分,有的只是視覺與數據智能中心、后摩爾器件與集成系統中心、自動化與機器人中心等7個研究中心。這些中心有各自不同的科研方向,同時高度交叉融合,它們不具備區分學生的行政意義,但學生可以根據自己的科研興趣或導師意向,加入不同中心的課題組,參與感興趣的科研。
這為學生的培養提供了更大的自由度和選擇的容錯空間。也正是在這樣的模式下,本科生參與科研在上科大成了非常普遍的事。許嵐告訴記者,課題組里每年都會有本科生,有時候本科生的數量甚至能占到一半。有些過得比較充實的本科生,畢業時的科研成果可以達到碩士甚至博士的畢業要求。
何開大一暑假便進入了VRVC實驗室,在實驗室度過三年時光,完成了三篇論文。回顧獲獎研究的出發點,他說道:“在我們實驗室相繼研發出了數字人頭面部生成算法、頭發表達算法、語言驅動數字人動作的一系列算法后,我和學長分析發現數字化服裝設計在整個數字人的生成流程中也是非常重要的一環。”
從課題組的立場來說,許嵐表示本科就加入科研的學生,可以有一個更長的培養周期,相較于科研所需要的成長和時間來說會更有利。當然,興趣和學有余力還是最基本的要求。事實上,上科大建校伊始就強調讓學生在科研中接觸到前沿的研究方向和研究方法,拓寬自己的眼界。
AI時代的教育、關于AI的教育,對于所有人來說都是挑戰。教材需要不斷流動,實時更新,一旦停止學習,老師和學生都會迅速落伍。虞晶怡表示,AI教育的范式在快速改變。例如把前沿課程的“教材”改為“教參”或許更為合適,可以讓教學內容更快速地進行迭代。此外,國際頂尖高校經常通過研討課的形式,鼓勵老師和學生深入交流,一起思考和探索從未想過的問題和方法,也非常值得借鑒。