融合视觉语言模型与分割大模型的高分辨率图像开放词汇变化检测

朱 岱1, 李 勇辉2
1、湖南韶峰应用数学研究院
2、长沙市中智信息技术开发有限公司

摘要


Abstract—高分辨率图像变化检测是城市规划、自然资源监测、灾害评估等遥感应用的核心技术，同时在医学影像、工业检测等领域也有广泛应用。传统方法依赖预定义类别，无法识别未见过的变化类型。本文提出融合视觉语言模型（VLM）与分割大模型（SAM3）的开放词汇变化检测方法。该方法利用SAM3的概念提示分割获取语义候选区域，结合CLIP提取视觉-文本特征计算语义差异，并通过Few-shot度量学习区分真实变化与物候变化。在自建遥感数据集（1280对图像）上的实验表明，本方法在不依赖预定义类别的情况下可有效检测多种地物变化；在LEVIR-CD公开数据集上进一步验证，F1分数达84.28%。

关键词


Index Terms—变化检测，开放词汇，分割大模型，视觉语言模型，Few-shot学习

全文:

PDF


参考


[1]张继贤，顾海燕，倪欢，李海涛，杨懿，丁少鹏，隋淞蔓.遥感智能变化检测的深度学习方法：演变与发展趋势[J].测绘学报，2025，54（8）.DOI：10.11947/j.AGCS.2025.20240417.

[2]程塨，王光兴，韩军伟等.深度学习遥感变化检测综述：典型算法及发展趋势[J].遥感学报，2025，29（6）：1587-1597.DOI：10.11834/jrs.20254441

[3]H. Chen, Z. Qi, Z. Shi, "Remote Sensing Image Change Detection with Transformers," IEEE Trans. Geosci. Remote Sens., 2021.

[4]N. Carion, et al., "SAM 3: Segment anything with concepts", arXiv preprint arXiv:2511.16719, 2025.

[5]李开宇，曹相湧，蒋梓轩，孟德宇.遥感图像开放词汇感知进展[J].中国图象图形学报，2025.

[6]郑向涛，卢孝强等.遥感场景的图文跨模态理解研究进展[J].遥感学报，2025.DOI：10.11834/jrs.20255125.


Refbacks

  • 当前没有refback。