記者日前從中國科學(xué)院，空天信息創(chuàng)新研究院（以下簡稱“空天院”）獲悉
空天院付琨研究員團隊聯(lián)合鵬城實驗室正式發(fā)布自主研制的百億級遙感解譯基礎(chǔ)模型——“空天·靈眸”3.0版，這是迄今為止全球首個百億參數(shù)級空天一體遙感解譯基礎(chǔ)模型。
“空天·靈眸”是我國首個面向多模態(tài)遙感數(shù)據(jù)生成式基礎(chǔ)模型，也是首個專為遙感領(lǐng)域打造的行業(yè)基礎(chǔ)模型。
自2022年首次推出后，空天院研究團隊在“基礎(chǔ)模型+下游任務(wù)”計算范式積累上持續(xù)探索。今年3月起，研究團隊與鵬城實驗室深度合作，基于中國算力網(wǎng)“鵬城云腦Ⅱ”樞紐節(jié)點，采用512張昇騰910顯卡，歷時數(shù)月攻關(guān)完成了在4億張國產(chǎn)化多模態(tài)空天遙感數(shù)據(jù)樣本上的預(yù)訓(xùn)練，基礎(chǔ)模型參數(shù)規(guī)模首次超過百億。
“空天·靈眸”3.0版內(nèi)核工作架構(gòu)是聯(lián)合團隊基于熱傳導(dǎo)，自主研發(fā)的一套小而精的原創(chuàng)性架構(gòu)——受傳熱學(xué)物理思想啟發(fā)，聯(lián)合團隊將場景目標間視覺語義傳播建模為熱能擴散過程，從而使該架構(gòu)有效突破了遙感模型推理的性能和速度瓶頸，計算速度較傳統(tǒng)結(jié)構(gòu)模型提升2.4倍以上。
“空天·靈眸”3.0版目前已表現(xiàn)出極為優(yōu)秀的泛化解譯性能，在可見光、合成孔徑雷達、熱紅外、多光譜等多傳感器衛(wèi)星數(shù)據(jù)基礎(chǔ)上，拓展至航空遙感飛機、無人機等不同航空平臺觀測數(shù)據(jù)的自動化、高精度解譯處理。
目前
“空天·靈眸”3.0版在覆蓋場景分類、目標檢測、語義分割、變化檢測等6大類任務(wù)的23個國際基準數(shù)據(jù)集上測試，相較于當前的主流模型，精度平均提升4%至10%，指標均達到領(lǐng)先水平，并已在應(yīng)急、國土、海洋、住建等多個行業(yè)部署試運行，特別是在最具挑戰(zhàn)性的復(fù)雜要素精細分類、運動小目標連續(xù)跟蹤等任務(wù)上性能卓越，為天臨空地一體化應(yīng)用提供了一套行之有效的解決方案。未來，研究團隊將持續(xù)推動“空天·靈眸”3.0版在國民經(jīng)濟各個行業(yè)的落地應(yīng)用。
圖片來源|東西南北雜志社
(聲明：本號所發(fā)內(nèi)容僅作為信息傳遞之目的，版權(quán)歸創(chuàng)作者所有，如有不妥請及時聯(lián)系刪除，謝謝。）