Vision Zoo¶
220 个 backbone 源码模块 / 791 注册 ID --- 索引经典 CNN、Vision Transformer 与下游 任务的本地构建入口；模块名和注册名不自动代表论文机制已审计。
注册目录不是独立实现清单
下表按方法标签组织时间线和构建入口。“核心创新”描述标签所指方法，不表示当前源码已经包含 全部对应机制；实际等级以保真度审计和 baseline 清单为准。
CLI 快速上手¶
# 列出所有可用注册 ID（本地入口使用 `dl:` 前缀）
python scripts/vision_zoo.py --list
# 模糊搜索
python scripts/vision_zoo.py --list --search convnext
# Smoke Test（前向推理验证）
python scripts/vision_zoo.py --smoke dl:resnet50
Backbone 注册标签分类¶
| 类别 | 代表算法 | 约计数量 |
|---|---|---|
| 经典 CNN | AlexNet, VGG-11/13/16/19, GoogLeNet (Inception v1-v4), ResNet-18/34/50/101/152, DenseNet-121/169/201/264 | ~60 |
| 高效网络 | MobileNet v1/v2/v3/v4, EfficientNet v1/v2, GhostNet, ShuffleNet v1/v2 | ~80 |
| 注意力 CNN | SENet, CBAM, BAM, ECA-Net, SK-Net, CoordAtt | ~50 |
| 现代 CNN | ConvNeXt v1/v2, RepVGG, RepLKNet, HorNet, FocalNet | ~40 |
| Vision Transformer | ViT, DeiT, BEiT, Swin v2, CSwin, CaiT, CrossViT | ~120 |
| 高效 Transformer | EfficientViT, TinyViT, EdgeViT, FastViT, SwiftFormer | ~60 |
| MLP 系列 | MLP-Mixer, gMLP, ResMLP, FNet, CycleMLP, WaveMLP | ~50 |
| Hybrid | CoAtNet, MobileFormer, Uniformer, MaxViT, MobileViT | ~60 |
| 特殊结构 | CapsNet, FractalNet, HRNet, NAS 系列, Mamba | ~50 |
一行构建任意视觉主干
经典 CNN¶
经典卷积神经网络奠定了深度学习视觉领域的基础。
| 方法标签 | 关键变体 | 标签所指创新 |
|---|---|---|
| AlexNet | alexnet | 首个大规模 CNN，ReLU + Dropout |
| VGG | vgg11, vgg13, vgg16, vgg19 (+BN) | 统一 3x3 卷积堆叠 |
| GoogLeNet | inception_v1/v2/v3/v4 | Inception Module 多尺度并行 |
| ResNet | resnet18/34/50/101/152 | Residual Connection 残差连接 |
| DenseNet | densenet121/169/201/264 | Dense Connection 密集连接 |
高效网络¶
面向移动端与边缘设备设计的轻量级架构。
| 方法标签 | 关键变体 | 标签所指创新 |
|---|---|---|
| MobileNet | v1, v2, v3_small/large, v4 | Depthwise Separable Conv |
| EfficientNet | b0~b7, v2_s/m/l | Compound Scaling |
| GhostNet | ghostnet_050/100/130 | Ghost Module 廉价特征生成 |
| ShuffleNet | v1_g1/g2/g3/g4/g8, v2_x05/x10/x15/x20 | Channel Shuffle |
Vision Transformer¶
基于 Self-Attention 的视觉模型已成为主流。
| 方法标签 | 关键变体 | 标签所指创新 |
|---|---|---|
| ViT | vit_tiny/small/base/large/huge | Patch Embedding + Transformer |
| DeiT | deit_tiny/small/base | 数据高效训练 + Distillation Token |
| BEiT | beit_base/large | Masked Image Modeling 预训练 |
| Swin | swin_v2_tiny/small/base/large | Shifted Window Attention |
| CSwin | cswin_tiny/small/base/large | Cross-Shaped Window Attention |
高效 Transformer¶
在保持 Transformer 精度的同时降低计算成本。
| 方法标签 | 关键变体 | 标签所指创新 |
|---|---|---|
| EfficientViT | efficientvit_b0~b3, m0~m5 | Cascaded Group Attention |
| TinyViT | tinyvit_5m/11m/21m | 知识蒸馏 + 小模型设计 |
| EdgeViT | edgevit_xxs/xs/s | Local-Global-Local 交替 |
| FastViT | fastvit_t8/t12/s12/sa12/sa24/sa36/ma36 | RepMixer + Structural Reparameterization |
下游任务子系统¶
Detection Zoo 2D¶
132 个注册标签 --- 索引 Anchor-based、Anchor-free、Transformer-based、轻量级检测器方法。
python scripts/detection_zoo.py --list
python scripts/detection_zoo.py --search fcos
python scripts/detection_zoo.py --smoke dldet:fcos_tiny
代表算法
Faster R-CNN, Cascade R-CNN, RetinaNet, FCOS, ATSS, DETR, Deformable-DETR, DINO, YOLOv3~v8, RT-DETR, Co-DETR
Instance Segmentation Zoo¶
50 个注册标签 --- 索引实例级像素分割方法。
python scripts/instance_segmentation_zoo.py --list
python scripts/instance_segmentation_zoo.py --search mask
python scripts/instance_segmentation_zoo.py --smoke dlinst:mask_rcnn_tiny
代表算法
Mask R-CNN, Cascade Mask R-CNN, PointRend, SOLOv2, CondInst, Mask2Former
Panoptic Segmentation Zoo¶
50 个注册标签 --- 索引语义分割与实例分割方法。
python scripts/panoptic_segmentation_zoo.py --list
python scripts/panoptic_segmentation_zoo.py --search panoptic
python scripts/panoptic_segmentation_zoo.py --smoke dlpan:panoptic_fpn_tiny
代表算法
Panoptic FPN, Panoptic-DeepLab, MaskFormer, Mask2Former, kMaX-DeepLab
Lane Detection Zoo¶
44 个注册标签 --- 索引车道线检测的 Anchor / Parametric / Segmentation / Keypoint / Transformer 范式。
python scripts/lane_detection_zoo.py --list
python scripts/lane_detection_zoo.py --search laneatt
python scripts/lane_detection_zoo.py --smoke dllane:laneatt_tiny
代表算法
SCNN, LaneNet, ERFNet-Lane, PINet, PolyLaneNet, LaneATT, GANet, CLRNet, BezierLaneNet
Co-segmentation Zoo¶
26 个注册标签 --- 索引 Group / Pair 级协同分割方法。
python scripts/co_segmentation_zoo.py --list
python scripts/co_segmentation_zoo.py --smoke coseg:clip_coseg_tiny
代表算法
CoSegNet, GroupWiseNet, DeepCoseg, CycleSegNet, SPNet, CSMG
Fine-Grained Recognition Zoo¶
112 个注册标签 --- 索引细粒度图像识别的 Bilinear / Part-based / Transformer / Prompt / CLIP / MLLM reasoning 方法；具体实现等级以保真度审计为准。
python scripts/fine_grained_recognition_zoo.py --list
python scripts/fine_grained_recognition_zoo.py --search transfg
python scripts/fine_grained_recognition_zoo.py --smoke dlfgvc:fine_r1_tiny
时间线与方法说明见
dlhub/vision/fine_grained_recognition/README.md
代表算法
Bilinear-CNN, NTS-Net, MAMC, DCL, PMG, TransFG, CAL, IELT, SIM-Trans
Action Recognition Zoo¶
62 个注册标签 --- 索引 Video (NCTHW，
dlactv:前缀) + Skeleton (NCTV，dlacts:前缀) 行为识别方法；具体实现等级以保真度审计为准。
python scripts/action_recognition_zoo.py --list
python scripts/action_recognition_zoo.py --search stgcn
python scripts/action_recognition_zoo.py --smoke dlactv:c3d_tiny
python scripts/action_recognition_zoo.py --smoke dlacts:stgcn_tiny
时间线与方法说明见
dlhub/vision/action_recognition/README.md
代表算法
C3D, I3D, SlowFast, TSN, TSM, TimeSformer, VideoSwin, MViTv2, UniFormerV2
MOT Zoo¶
100 个注册标签 --- 索引 2D 单相机多目标跟踪方法，每个标签有
tiny/small/base三档配置。
python scripts/mot_zoo.py --list
python scripts/mot_zoo.py --search bytetrack
python scripts/mot_zoo.py --timeline
python scripts/mot_zoo.py --smoke mot2d:sort_tiny
除通用的 --list / --search / --smoke 外，MOT Zoo 还内置选型与批量训练工具链：
# 按场景推荐算法（realtime / occlusion 等 profile）
python scripts/mot_zoo.py --recommend realtime --top-k 8 --variant tiny
python scripts/mot_zoo.py --recommend occlusion --top-k 8 --variant tiny --emit-train-cmds
# 直接批量执行推荐算法的训练命令
python scripts/mot_zoo.py --recommend realtime --top-k 3 --variant tiny --run-train-cmds
python scripts/mot_zoo.py --recommend realtime --top-k 3 --variant tiny --run-train-cmds --skip-existing
python scripts/mot_zoo.py --recommend realtime --top-k 3 --variant tiny --run-train-cmds --summary-only
python scripts/mot_zoo.py --recommend realtime --top-k 3 --variant tiny --run-train-cmds --rank-by loss
python scripts/mot_zoo.py --recommend realtime --top-k 3 --variant tiny --run-train-cmds --save-leaderboard outputs/vision/mot_leaderboard.json
python scripts/mot_zoo.py --recommend realtime --top-k 3 --variant tiny --run-train-cmds --save-artifacts-dir outputs/vision/mot_artifacts
python scripts/mot_zoo.py --recommend realtime --top-k 3 --variant tiny --run-train-cmds --save-artifacts-dir auto
组别、选型建议与完整族列表见
dlhub/vision/mot/README.md
代表算法
SORT, DeepSORT, ByteTrack, OC-SORT, StrongSORT, FairMOT, JDE, CenterTrack, TrackFormer, MOTRv2