VLM Zoo¶

20 算法族 --- 覆盖 2021-2023 年视觉-语言多模态模型的核心演进路线，从对比学习到指令微调。

CLI 快速上手¶

# 列出全部 VLM 架构 ID
python -m zoo.vlm --list

# 模糊搜索
python -m zoo.vlm --search blip

# Smoke Test（前向推理验证）
python -m zoo.vlm --smoke clip_base

全部 20 算法族¶

演进脉络¶

graph LR
    A["CLIP / ALIGN<br/>对比学习"] --> B["ALBEF / BLIP<br/>对齐+融合"]
    B --> C["BLIP-2<br/>Q-Former 桥接 LLM"]
    C --> D["InstructBLIP / LLaVA<br/>指令微调"]
    A --> E["ViLT / SimVLM<br/>端到端 Transformer"]
    E --> F["CoCa / OFA<br/>统一框架"]
    F --> D
    C --> G["Flamingo / PaLI<br/>超大规模少样本"]
    G --> H["CogVLM / Qwen-VL<br/>深度融合"]

架构分类¶

对比学习 (Contrastive Learning)¶

以 Image-Text 对比损失为核心的双塔模型。

对齐 + 融合 (Align & Fuse)¶

先对齐表示空间，再通过 Cross-Attention 深度融合。

桥接 LLM (Bridge to LLM)¶

将预训练视觉编码器与冻结 LLM 高效连接。

指令微调 (Instruction Tuning)¶

通过多任务指令数据增强模型的跟随能力。

用法示例¶

from zoo.vlm import build

model = build("clip_base")
# model.encode_image(images)  -> image_features  [B, D]
# model.encode_text(texts)    -> text_features   [B, D]