跳到主要内容

数据集画像(Profile)

画像是对数据集内文档和 chunks 的多维度统计分析,帮助用户了解数据形态、发现质量问题、优化检索配置。

画像扫描流程

画像有两种获取方式:

  • 实时摘要GET /profile/summary,按需计算,适合小数据集
  • 深度扫描POST /profile/scan-runs,异步执行,结果持久化到 DatasetProfileScanRun

指标维度

核心统计

指标说明数据来源
total_documents文档总数documents 表
total_chunkschunk 总数document_chunks 表
by_status按文档状态分布status 字段
by_file_type按文件类型分布file_type 字段

Token 分布

指标说明
token_percentilesP25/P50/P75/P90/P99 分位数
token_histogram按区间分桶的 token 长度分布
short_chunk_ratio短 chunk(≤100 tokens)占比
long_chunk_ratio长 chunk(≥800 tokens)占比

质量检查(Target Checks)

检查项status 值含义
P50 token 长度pass/warn/fail是否在目标区间内
短 chunk 比例pass/warn/fail是否超过阈值
长 chunk 比例pass/warn/fail是否超过阈值
Overlap 浪费pass/warn/failchunk overlap 重复率
覆盖率pass/warn/fail内容覆盖完整度

发现(Findings)

severity含义
info信息性提示
warning需关注的质量问题
error严重问题,影响检索效果

解析来源统计

DatasetProfileParsingProvenanceStats 提供解析路由透明度:

字段说明
docs_with_provenance有解析来源标记的文档数
by_resolved_backend按实际解析后端分布
fallback_docs使用 fallback 解析的文档数
elapsed_ms_percentiles解析耗时分位数
Recall Risk Hints

画像还提供 recall_risk_hints——基于轻量信号推断的检索召回风险提示,帮助用户识别可能影响检索效果的数据问题。

导出格式

格式端点用途
JSONGET /profile/export程序化消费
HTMLGET /profile/export-html可视化报告,可邮件分享

API 端点

方法路径说明
GET/{id}/profile/summary实时摘要
GET/{id}/profile/findings/{key}发现明细(分页)
GET/{id}/profile/buckets/documents按桶文档列表
POST/{id}/profile/scan-runs发起深度扫描
GET/{id}/profile/scan-runs扫描历史
GET/{id}/profile/scan-runs/{run_id}单次扫描详情

相关链接