提示工程：少样本提示（Few-shot Prompting）

### Few-Shot 学习与 CLIP 模型的应用及实现 Few-shot 学习是一种机器学习范式，旨在利用少量样本完成特定任务的学习目标。CLIP（Contrastive Language–Image Pre-training）作为一种强大的多模态预训练模型，在 few-shot 场景下表现出显著的优势[^1]。 #### LAMM 方法概述 为了进一步提升 CLIP 的 zero-shot 和 few-shot 性能，研究者提出了 LAMM（Learnable Adaptive Multimodal Matching）。该方法的核心在于通过端到端的方式优化标签嵌入，从而缩小图像特征与其对应类别表示之间的差距。具体而言，LAMM 将 prompt 中的固定文本模板替换为可学习的标记 \(< M_i >\) （\(i=1, 2, ..., k\），这些标记代表不同类别的语义信息。在训练阶段，仅需更新每个下游数据集中对应的类别向量集合 \(\{< M_i >\}_{i=1}^{k}\)，而不改变 CLIP 预训练权重。 这种设计不仅保留了 CLIP 原有的跨模态理解能力，还增强了其针对特定领域或任务的适应性。例如，在 CoOp（Context Optimization Prompting）框架基础上引入 LAMM 后，可以通过用可训练向量替代原始类别描述来改进提示模板结构。 以下是基于 PyTorch 实现的一个简化版代码片段展示如何结合 LAMM 进行 fine-tuning： ```python import torch from clip import load as load_clip device = "cuda" if torch.cuda.is_available() else "cpu" model, preprocess = load_clip("ViT-B/32", device=device) class LearnablePrompt(torch.nn.Module): def __init__(self, num_classes, embedding_dim=512): super().__init__() self.learned_prompts = torch.nn.ParameterList([ torch.nn.Parameter(torch.randn(1, embedding_dim)) for _ in range(num_classes)]) def forward(self, class_indices=None): if class_indices is None: return torch.cat([p for p in self.learned_prompts]) else: return torch.stack([self.learned_prompts[i][0] for i in class_indices]) def compute_similarity(image_features, text_features): image_features /= image_features.norm(dim=-1, keepdim=True) text_features /= text_features.norm(dim=-1, keepdim=True) logit_scale = model.logit_scale.exp() logits_per_image = logit_scale * image_features @ text_features.t() return logits_per_image # Example usage of the learnable prompts module. num_classes = 10 learnable_prompt_module = LearnablePrompt(num_classes).to(device) optimizer = torch.optim.AdamW(learnable_prompt_module.parameters(), lr=1e-3) for epoch in range(epochs): optimizer.zero_grad() images = ... # Load batch of images labels = ... # Corresponding labels processed_images = [preprocess(img) for img in images] tensor_stack = torch.stack(processed_images).to(device) with torch.no_grad(): image_features = model.encode_image(tensor_stack) learned_text_embeddings = learnable_prompt_module(labels) similarity_scores = compute_similarity(image_features, learned_text_embeddings) loss_fn = torch.nn.CrossEntropyLoss() loss = loss_fn(similarity_scores, labels.to(device)) loss.backward() optimizer.step() ``` 上述代码展示了如何定义并训练一个简单的可学习提示模块 `LearnablePrompt` 来适配不同的分类任务需求。值得注意的是，实际部署时可能还需要考虑更多细节调整以及更复杂的网络架构设计以满足更高精度的要求。 #### 结论 综上所述，借助像 LAMM 这样的技术手段能够极大地提高 CLIP 在 small-data regimes 下的表现效果。通过对类别嵌入表征进行微调操作而非重新训练整个神经网络参数组，则既节省资源又保持住了原有泛化特性的同时实现了定制化的功能扩展。