什么是重复文件检测?

来源:全国数据标准化技术委员会 发布时间:2026-10-12

重复文件检测用于发现数据集中内容高度一致或完全重复的文件。

用户在整理数据时,可能会因为多次导出、人工复制、保留备份等原因产生重复文件。重复文件会影响数据集质量,也可能导致数据规模、数据数量和后续分析结果失真。

检测报告中通常会展示:

1.已检测数据总数或文件总数;

2.重复数量;

3.重复文件样例;

4.是否通过检测。

附件:
全国数据标准化技术委员会 常见问题

全国数据标准化技术委员会 版权所有 ©2009-2025

地址:北京市东城区安定门东大街1号 中国电子技术标准化研究院

联系电话:010-64102867 传真:010-64102861 邮编:100007

京ICP备05013730号-69

京公网安备11010102004561号