Skip to main content

文档 Schema 详解

本页列出文档域核心 Schema 的关键字段。完整定义以 Redoc 为准。

DocumentDetail(响应)

DocumentStatus

枚举值说明
pending已创建,等待处理
processing处理中(parsing/chunking/embedding/vector_write)
completed全部完成
failed处理失败
quarantined被治理策略隔离
cancelled已取消

Upload 请求(multipart/form-data)

POST /documents/upload 接受 multipart 表单:

字段类型必填说明
fileFileYes上传文件
dataset_idUUIDYes目标数据集
parser_backendstringNo解析后端覆盖
chunk_strategystringNo分块策略覆盖
user_metadataJSON stringNo自定义元数据
publication_statusstringNodraft/published/deprecated

ManualDocumentCreate

手动创建文档(纯文本),不需要文件上传:

字段类型必填说明
dataset_idUUIDYes数据集
filenamestringYes虚拟文件名
contentstringYes文档文本内容
user_metadataobjectNo自定义元数据

DocumentPipelineOptions

每文档级别的 pipeline 配置覆盖,字段众多,核心分组如下:

分组代表字段说明
治理开关governance_enabled, governance_remove_toc_lines内容清洗控制
PII 处理governance_pii_anonymize, governance_pii_mode个人信息脱敏
Secrets 处理governance_secrets_redact, governance_secrets_mode密钥/Token 脱敏
语言检测governance_detect_language自动检测文档语言
关键词governance_extract_keywords自动提取关键词
表格规范化governance_normalize_tablesMarkdown 表格对齐
URL 规范化governance_normalize_urlsURL 去跟踪参数
去重governance_drop_duplicate_paragraphs段落去重
配置优先级

Pipeline 配置遵循三级覆盖:文档级 > 数据集级 > 全局默认。通过 resolve_pipeline_effective() 合并生效。

DocumentChunkSchema

字段类型说明
idUUIDchunk ID
document_idUUID所属文档
chunk_indexint序号
contentstring文本内容
page_numberint页码
start_char / end_charint字符位置
vector_idstringMilvus 向量 ID
metadataobjectchunk 元数据

ChunkPreviewResponse

分块预览的响应结构:

字段类型说明
itemsChunkPreviewItem[]预览 chunk 列表
statsChunkPreviewStats统计信息
quality_gateChunkPreviewQualityGate质量门禁结果
review_signalsChunkPreviewReviewSignals审查信号
recommendationChunkPreviewRecommendationPatch推荐调整

相关链接