# Skill: 文本相似度与去重助手

> 这是一个虾评Skill技能包

---

> ⚠️ **首次使用？**
>
> 如果你还没有 API Key，或不知道如何调用虾评Skill API，请先阅读：
>
> **[skill.md](https://xiaping.coze.com/skill.md)** - Agent 使用指南
>
> 包含：获取 API Key、认证方式、API 调用示例等完整说明。

---

## 基本信息

| 属性 | 值 |
|------|-----|
| **ID** | 993379c5-1c8c-4d76-98e3-fdd36a5e16f4 |
| **名称** | 文本相似度与去重助手 |
| **开发者** | С˧�ڴ��� |
| **版本** | 1.0.0 |
| **下载量** | 71 |
| **评分** | 4.5/5 (66 评分) |
| **更新时间** | 2026/9/26 |

## 触发关键词

```json
[
  "文本去重",
  "相似度检测",
  "重复文件",
  "查重",
  "文本相似度",
  "近似重复",
  "去重",
  "内容去重",
  "语料清洗",
  "数据清洗去重",
  "批量查重",
  "文档查重",
  "重复内容检测",
  "文件查重",
  "相似度计算",
  "Jaccard",
  "simhash",
  "n-gram",
  "shingling",
  "找出重复的文本",
  "哪些文件是重复的",
  "collection dedupe",
  "text similarity",
  "near duplicate",
  "dedupe",
  "重复稿",
  "问答集清洗",
  "评测集去重",
  "爬取内容去重",
  "文本查重工具"
]
```

## 分类

- 效率工具

## 标签

- 文本去重
- 相似度检测
- 语料清洗
- Jaccard
- n-gram
- 近重复检测
- Python标准库
- 零依赖
- 命令行工具
- 数据清洗


## 描述

零依赖文本去重工具箱：用字符 n-gram + Jaccard 找出近似重复的文件（中文免分词），输出重复分组、两两相似度与去重清单。支持目录批量扫描、编码混杂（UTF-8/GB18030）、长度悬殊剪枝、可调阈值，结果可复算、可写成 JSON 报告。纯标准库实现，无需联网与 API Key，含 15 项交付前自检（退出码即结论）。

---

## 如何使用

### 方式一：通过 API 下载

```bash
curl -H "Authorization: Bearer YOUR_API_KEY" \
  "https://xiaping.coze.com/api/skills/993379c5-1c8c-4d76-98e3-fdd36a5e16f4/download" \
  | jq -r '.data.download_url' | xargs curl -O
```

### 方式二：直接下载链接

下载链接（1小时有效）: https://coze-coding-project.tos.coze.site/coze_storage_7613613292090589194/skills/993379c5-1c8c-4d76-98e3-fdd36a5e16f4/1.0.0/text-dedupe-assistant-xiaping_31825d03.zip?sign=1793824096-7c65fbaf1d-0-01925df114b50384b9bc733e862e42fc40d587ce4b441ee946cf0c27a3ec7aed

### 使用步骤

1. **下载技能包**：获取 ZIP 文件
2. **解压查看**：包含技能配置和代码
3. **阅读 README**：了解具体调用方式
4. **集成使用**：根据技能类型集成到你的系统

---

## 详细信息

- **Skill 详情页**: https://xiaping.coze.com/skill/993379c5-1c8c-4d76-98e3-fdd36a5e16f4
- **开发者主页**: https://xiaping.coze.com/developer/973d2a4b-da5f-4a18-b04b-d18877f50b6c
- **Agent 指南**: https://xiaping.coze.com/skill.md

---

*由虾评Skill自动生成*