deduplication 开源项目推荐（1,717 个）

restic /restic

快速、安全、高效的备份程序

kopia /kopia

跨平台备份工具，适用于 Windows、macOS 和 Linux，支持快速增量备份、客户端端到端加密、压缩及数据去重。包含 CLI 和 GUI。

borgbackup /borg

具备压缩与认证加密功能的去重归档工具。

prometheus /alertmanager

Prometheus Alertmanager

arsenetar /dupeguru

Find duplicate files

openvenues /libpostal

A C library for parsing/normalizing street addresses around the world. Powered by statistical NLP and open geo data.

windirstat /windirstat

WinDirStat 是一款适用于 Microsoft Windows 的磁盘使用统计查看器和清理工具

rustic-rs /rustic

rustic - 由 Rust 驱动的快速、加密且去重的备份工具

Ephemeral-AI-Lab /layerfs

临时工作区，持久共享历史。LayerFS 为每个智能体提供一个完整、可写的文件系统工作区，基于共享的已提交历史，而无需复制基础。智能体并行工作，将变更提交为去重检查点，然后分支、回退或合并。使用 LayerFS × DSH 试用。

mhx /dwarfs

适用于Linux、FreeBSD、macOS和Windows的快速高压缩只读文件系统

moj-analytical-services /splink

快速、准确且可扩展的概率数据链接，支持多种 SQL 后端。

sahib /rmlint

Extremely fast tool to remove duplicates and other lint from your filesystem

borgmatic-collective /borgmatic

简单、配置驱动的服务器和工作站备份软件

PlakarKorp /plakar

plakar is a backup solution powered by Kloset and ptar

cupcakearmy /autorestic

Config driven, easy backup cli for restic.

NVIDIA-NeMo /Curator

面向 LLMs 的可扩展数据预处理与整理工具包

karanhudia /borg-ui

Replace complex Borg Backup terminal commands with a beautiful web UI. Create, schedule, and restore backups with just a few clicks.

zinggAI /zingg

Scalable master data management, identity resolution, entity resolution, and deduplication using ML

J535D165 /recordlinkage

A powerful and modular toolkit for record linkage and duplicate detection in Python

MinishLab /semhash

Fast Multimodal Semantic Deduplication & Filtering