HyperSIGMA 开源项目使用教程
1. 项目介绍
HyperSIGMA 是一个针对高光谱图像(HSI)解释设计的十亿级基础模型。为了解决高光谱图像中的光谱和空间冗余问题,该项目引入了一种新颖的稀疏采样注意力(SSA)机制,该机制有效地促进了多样上下文特征的学习,并作为 HyperSIGMA 的基础构建块。HyperSIGMA 通过一个特别设计的光谱增强模块来整合空间和光谱特征。
2. 项目快速启动
以下是一个快速启动 HyperSIGMA 的示例,我们将展示如何进行模型的预训练。
首先,确保你已经安装了必要的依赖项,具体可以参考项目官方文档。
然后,你可以使用以下命令来启动一个大型版本的空间 ViT 的预训练:
srun -J spatmae -p xahdnormal --gres=dcu:4 --ntasks=64 --ntasks-per-node=4 --cpus-per-task=8 --kill-on-bad-exit=1 \
python main_pretrain_Spat.py \
--model 'spat_mae_l' --norm_pix_loss \
--data_path [预训练数据路径] \
--output_dir [模型保存路径] \
--log_dir [日志保存路径] \
--blr 1.5e-4 --batch_size 32 --gpu_num 64 --port 60001
对于巨大版本的谱 ViT 的预训练,可以使用以下命令:
srun -J specmae -p xahdnormal --gres=dcu:4 --ntasks=128 --ntasks-per-node=4 --cpus-per-task=8 --kill-on-bad-exit=1 \
python main_pretrain_Spec.py \
--model 'spec_mae_h' --norm_pix_loss \
--data_path [预训练数据路径] \
--output_dir [模型保存路径] \
--log_dir [日志保存路径] \
--blr 1.5e-4 --batch_size 16 --gpu_num 128 --port 60004 --epochs 1600 --mask_ratio 0.75 \
--use_ckpt 'True'
请将 [预训练数据路径]
、[模型保存路径]
和 [日志保存路径]
替换为实际路径。
3. 应用案例和最佳实践
HyperSIGMA 可以应用于多种高光谱图像任务,以下是一些应用案例:
- 图像分类:请参考
ImageClassification-README
文件了解如何进行图像分类。 - 目标检测和异常检测:请参考
HyperspectralDetection-README
文件了解如何进行目标检测和异常检测。 - 变化检测:请参考
ChangeDetection-README
文件了解如何进行变化检测。 - 光谱解混:请参考
HyperspectralUnmixing-README
文件了解如何进行光谱解混。 - 去噪:请参考
Denoising-README
文件了解如何进行去噪。 - 超分辨率:请参考
SR-README
文件了解如何进行超分辨率处理。 - 多光谱变化检测:请参考
MultispectralCD-README
文件了解如何进行多光谱变化检测。
4. 典型生态项目
HyperSIGMA 项目的生态包括但不限于以下项目:
- MMCV
- MAE
- Swin Transformer
- VSA
- RVSA
- DAT
- HTD-IRN
- GT-HAD
- MSDformer
- SST-Former
- SST
- CNNAEU
- DeepTrans
以上这些项目为 HyperSIGMA 提供了强有力的技术支持,使得 HyperSIGMA 能够更好地进行高光谱图像处理和分析。