跳到主要内容

文档(Document)概述

文档是 MimirQ 中知识内容的载体。每个文档隶属于一个数据集,经过解析、分块、向量化、索引四阶段流水线后,其内容以 chunk 形式进入 Milvus 向量库供检索使用。

文档生命周期

处理阶段(current_stage)

阶段说明
parsing文件解析为文本
chunking文本分块
embedding向量化
vector_write写入 Milvus
completed全部完成

Publication 状态

独立于处理状态的发布状态,用于治理工作流:

状态说明
draft草稿,不参与检索
published已发布(默认)
deprecated已废弃

核心字段

字段类型说明
idUUID文档 ID
tenant_idUUID租户 ID
dataset_idUUID归属数据集
filenameString(500)原始文件名
file_typeString(10)文件类型(pdf/md/txt/docx...)
file_sizeBigInteger文件大小(字节)
file_pathString(1000)存储路径
statusString(20)pending/processing/completed/failed/quarantined/cancelled
current_stageString(50)当前处理阶段
processing_progressInt0-100 进度
chunk_countIntchunk 数量
total_charactersInt总字符数
error_messageText失败原因
doc_metadataJSONB元数据(pipeline 配置、治理结果等)
publication_statusStringdraft/published/deprecated

生命周期元数据

字段说明
owner_id文档 owner(上传者)
access_modeACL 模式
lifecycle_owner内容生命周期负责人
review_due_at评审截止日期
authority_level权威性等级
supersedes_document_id替代的文档 ID
双 owner 设计

owner_id 用于 ACL 权限控制(谁能看),lifecycle_owner 用于内容治理(谁负责维护)。两者可以不同。

DocumentChunk 模型

字段类型说明
idUUIDchunk ID
document_idUUID归属文档
chunk_indexIntchunk 序号
contentTextchunk 文本
page_numberInt所在页码
start_char / end_charInt字符位置
vector_idStringMilvus 向量 ID
doc_metadataJSONBchunk 级元数据
disabled_atDateTime禁用时间(非 NULL 则不参与检索)

与其他实体的关系

相关链接