理工學(xué)院潘文安教授團(tuán)隊(duì)在遙感領(lǐng)域國(guó)際期刊IEEE TGRS發(fā)表兩篇基于大模型以及擴(kuò)散模型的文章
香港中文大學(xué)（深圳）理工學(xué)院潘文安教授團(tuán)隊(duì)一個(gè)月內(nèi)在遙感領(lǐng)域國(guó)級(jí)期刊IEEE Transactions on Geoscience and Remote Sensing發(fā)表兩篇文章。該期刊是地球科學(xué)和遙感領(lǐng)域的頂級(jí)期刊之一，是IEEE地球科學(xué)與遙感技術(shù)協(xié)會(huì)（GRSS）會(huì)刊，在全球地球科學(xué)領(lǐng)域期刊中國(guó)際影響力排名前五，為中科院一區(qū)期刊，2023年影響因子7.5，在遙感技術(shù)和地球科學(xué)領(lǐng)域具有較高影響力。
01
DF4LCZ: A SAM-Empowered Data Fusion Framework for Scene-Level Local Climate Zone Classification
論文鏈接：https://ieeexplore.ieee.org/document/10556641
?
論文簡(jiǎn)介
局部氣候區(qū)（LCZ）是一個(gè)標(biāo)準(zhǔn)化的城市土地類(lèi)型分類(lèi)框架，常用于分析不同城市區(qū)域的熱特征，是研究城市熱島現(xiàn)象的重要工具。近年來(lái)，遙感技術(shù)的進(jìn)步推動(dòng)了局部氣候區(qū)分類(lèi)（LCZ classification）技術(shù)的發(fā)展。然而，傳統(tǒng)使用卷積神經(jīng)網(wǎng)絡(luò)（CNNs）的遙感分類(lèi)方法在有效結(jié)合地面物體先驗(yàn)知識(shí)方面有所欠缺。同時(shí)，LCZ分類(lèi)中常用的哨兵2號(hào)數(shù)據(jù)源在捕捉地表對(duì)象細(xì)節(jié)方面也存在困難。為了解決這些問(wèn)題，本工作提出了一種新穎的數(shù)據(jù)融合方法——DF4LCZ。該方法結(jié)合了高分辨率谷歌地球RGB影像和哨兵2號(hào)多光譜影像，融合了基于實(shí)例的位置特征和場(chǎng)景級(jí)空間-光譜特征。這個(gè)框架通過(guò)圖卷積網(wǎng)絡(luò)（GCN）模塊和分割大模型（SAM）增強(qiáng)了從谷歌影像中提取特征的能力。同時(shí)，采用3D-CNN架構(gòu)提取哨兵2號(hào)影像的光譜-空間特征。此外，通過(guò)在多源遙感圖像數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，我們驗(yàn)證了DF4LCZ的有效性。
Figure 1 本項(xiàng)目提出的LCZ識(shí)別模型結(jié)構(gòu)
?
文章的主要貢獻(xiàn)
1、鑒于哨兵2號(hào)衛(wèi)星影像的局限性，本研究首次提出利用高分辨率谷歌地球影像來(lái)提升LCZ分類(lèi)性能；
2、提出了一個(gè)雙流融合框架DF4LCZ，將基于實(shí)例的位置特征與場(chǎng)景級(jí)空間-光譜特征相結(jié)合，從它們的互補(bǔ)性中獲得協(xié)同效益；
3、在該框架中，DF4LCZ使用分割大模型SAM從谷歌地球RGB圖像中提取地面實(shí)例，并通過(guò)圖卷積網(wǎng)絡(luò)GCN從這些地面實(shí)例中提取場(chǎng)景判別特征并進(jìn)行分類(lèi)。此外，DF4LCZ還引入了3D ResNet11模塊，用于從哨兵2號(hào)影像中提取空間-光譜特征；
4、利用哨兵2號(hào)多光譜和谷歌地球RGB圖像構(gòu)建了多源遙感圖像數(shù)據(jù)集LCZC-GES2，并在該數(shù)據(jù)集上進(jìn)行了多種實(shí)驗(yàn)，驗(yàn)證了DF4LCZ方法的性能。
?
02
Diffusion Enhancement for Cloud Removal in Ultra-Resolution Remote Sensing Imagery
論文鏈接：https://ieeexplore.ieee.org/document/10552304
?
論文簡(jiǎn)介
云層的存在嚴(yán)重?fù)p害了光學(xué)遙感圖像的質(zhì)量和有效性。然而，現(xiàn)有的基于深度學(xué)習(xí)的去云技術(shù)在準(zhǔn)確重建圖像的原始視覺(jué)真實(shí)性和詳細(xì)語(yǔ)義內(nèi)容方面遇到一些困難。為了應(yīng)對(duì)這一挑戰(zhàn)，這項(xiàng)工作在數(shù)據(jù)和方法方面進(jìn)行了一系列改進(jìn)。在數(shù)據(jù)方面，本論文建立了一個(gè)名為CUHK-CR的超高分辨率去云數(shù)據(jù)集，其空間分辨率為0.5米。該數(shù)據(jù)集包含了豐富的細(xì)節(jié)紋理信息和多樣化的云覆蓋類(lèi)型，并為設(shè)計(jì)和評(píng)估去云模型奠定了堅(jiān)實(shí)的基礎(chǔ)。在方法方面，本論文提出了一種基于擴(kuò)散模型的去云框架，稱(chēng)為擴(kuò)散增強(qiáng)模型。該框架旨在逐步恢復(fù)紋理細(xì)節(jié)，并利用視覺(jué)先驗(yàn)提供圖像的基礎(chǔ)結(jié)構(gòu)來(lái)提高推理精度。此外，本論文設(shè)計(jì)了權(quán)重分配網(wǎng)絡(luò)來(lái)動(dòng)態(tài)調(diào)整特征融合的權(quán)重，在超高分辨率圖像上可以進(jìn)一步提高去云性能。在訓(xùn)練方法上，本論文應(yīng)用從粗到細(xì)的訓(xùn)練策略來(lái)有效地加快模型收斂，同時(shí)降低處理超高分辨率圖像所需的計(jì)算復(fù)雜度。下圖展示了一個(gè)基于港中大（深圳）校區(qū)的衛(wèi)星可見(jiàn)光影像的去云案例。最左邊為無(wú)云的地面真實(shí)值，中間為被云層遮擋的衛(wèi)星影像。通過(guò)對(duì)被云層遮擋的衛(wèi)星影像的有效處理，本項(xiàng)目提出的去云模型輸出的去云后的影像（最右邊）能高度還原地面真實(shí)值（最左邊）。
Figure 2 基于港中大（深圳）校區(qū)的衛(wèi)星影像的去云案例。從左到右分別是地面真實(shí)值，被云層遮擋的可見(jiàn)光影像（輸入）以及去云后的影像（輸出）
?
文章的主要貢獻(xiàn)
1、提出了一種擴(kuò)散增強(qiáng)網(wǎng)絡(luò)（DE），以恢復(fù)云層覆蓋下的地表景象。所提出的DE網(wǎng)絡(luò)將全局視覺(jué)信息與漸進(jìn)擴(kuò)散恢復(fù)相結(jié)合，增強(qiáng)了捕獲數(shù)據(jù)分布的能力。因此，它在推理過(guò)程中善于利用Reference model先驗(yàn)來(lái)預(yù)測(cè)詳細(xì)信息；
2、設(shè)計(jì)了一個(gè)權(quán)重分配網(wǎng)絡(luò)來(lái)計(jì)算自適應(yīng)加權(quán)系數(shù)，用于融合擴(kuò)散模型的中間去噪圖像與Reference model生成的除云結(jié)果。因此，在最初的步驟中，Reference model有助于粗粒度的內(nèi)容重建，而擴(kuò)散模型則專(zhuān)注于在后續(xù)階段生成豐富的細(xì)節(jié)信息。此外，我們采用從粗到細(xì)的訓(xùn)練策略來(lái)穩(wěn)定與加速DE的收斂速度；
3、最后，建立了一個(gè)名為CUHK-CR的超高分辨率去云數(shù)據(jù)集，以評(píng)估針對(duì)不同類(lèi)型云覆蓋的去云方法。我們的數(shù)據(jù)集包括具有多光譜信息的668張薄云圖像和559張厚云圖像。據(jù)我們所知，我們的0.5m數(shù)據(jù)集是所有現(xiàn)有去云數(shù)據(jù)集中空間分辨率最高的。
?
主要作者簡(jiǎn)介
通訊作者：香港中文大學(xué)（深圳）潘文安教授
潘文安，香港中文大學(xué)（深圳）理工學(xué)院副教授。于1996年獲得香港中文大學(xué)電子工程學(xué)士學(xué)位，1999年獲得日本筑波大學(xué)計(jì)算機(jī)科學(xué)碩士學(xué)位，2006年獲得南加州大學(xué)電氣工程博士學(xué)位。從2006年到2008年，他在普林斯頓大學(xué)進(jìn)行博士后研究。
在2015年加入香港中文大學(xué)（深圳）之前，他在新澤西州華為（美國(guó)），波士頓三菱電氣研究實(shí)驗(yàn)室（MERL）和日本東京索尼擔(dān)任過(guò)研究職位。潘文安教授的研究興趣包括人工智能物聯(lián)網(wǎng)和機(jī)器學(xué)習(xí)在通信和衛(wèi)星遙感中的應(yīng)用。
潘文安教授已獲得IEEE VTC’06 Fall，IEEE ICC’08和IEEE InfoCom’09的最佳論文獎(jiǎng)。他在2010年至2014年擔(dān)任IEEE ?Transactions on ?Wireless ?Communications的副編輯。他是深圳IEEE聯(lián)合SPS-Comsoc分會(huì)的創(chuàng)始主席。
?
第一篇文章的第一作者：香港中文大學(xué)（深圳）2022級(jí)博士生吳倩倩
吳倩倩，分別于2019年和2022年獲得中國(guó)地質(zhì)大學(xué)（武漢）自然地理與資源環(huán)境專(zhuān)業(yè)學(xué)士學(xué)位和地圖制圖學(xué)與地理信息工程專(zhuān)業(yè)碩士學(xué)位。她目前正在香港中文大學(xué)（深圳）攻讀博士學(xué)位。她的主要研究方向包括數(shù)據(jù)融合、深度學(xué)習(xí)、遙感圖像處理等。
?
第二篇文章的第一作者：香港中文大學(xué)（深圳）2022級(jí)碩士生隋佳璐
隋佳璐，于2021年獲得山東大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)士學(xué)位。她目前正在香港中文大學(xué)（深圳）攻讀碩士學(xué)位。她的主要研究方向是：遙感、機(jī)器學(xué)習(xí)、超分辨率、圖像增強(qiáng)等。她曾作為訪(fǎng)問(wèn)學(xué)生在北京大學(xué)做短期訪(fǎng)問(wèn)。
?
供稿 | 潘文安教授團(tuán)隊(duì)
