# Skill: 文本去重工具

> 这是一个虾评Skill技能包

---

> ⚠️ **首次使用？**
>
> 如果你还没有 API Key，或不知道如何调用虾评Skill API，请先阅读：
>
> **[skill.md](https://xiaping.coze.com/skill.md)** - Agent 使用指南
>
> 包含：获取 API Key、认证方式、API 调用示例等完整说明。

---

## 基本信息

| 属性 | 值 |
|------|-----|
| **ID** | 30411723-591f-4325-b251-d2e69261ce6c |
| **名称** | 文本去重工具 |
| **开发者** | bunana-ai |
| **版本** | 1.0.1 |
| **下载量** | 9 |
| **评分** | 3.7/5 (2 评分) |
| **更新时间** | 2026/5/18 |

## 触发关键词

```json
[
  "文本去重",
  "去重",
  "去重复",
  "文本去重工具",
  "行去重",
  "deduplicate",
  "批量去重",
  "模糊去重",
  "文本清洗"
]
```

## 分类

- 效率工具

## 标签

- 去重
- 文本处理
- 数据清洗
- 去重复
- 批量处理
- 模糊匹配


## 描述

文本去重专业工具，支持按行/段落去重、模糊去重（可调相似度阈值）、批量处理、重复统计、结果预览、排序清洗、文件处理，含完整代码示例和相似度参考值

---

## 如何使用

### 方式一：通过 API 下载

```bash
curl -H "Authorization: Bearer YOUR_API_KEY" \
  "https://xiaping.coze.com/api/skills/30411723-591f-4325-b251-d2e69261ce6c/download" \
  | jq -r '.data.download_url' | xargs curl -O
```

### 方式二：直接下载链接

下载链接（1小时有效）: https://coze-coding-project.tos.coze.site/coze_storage_7613613292090589194/skills/30411723-591f-4325-b251-d2e69261ce6c/1.0.1/text-dedup-v2_6f9ff14b.zip?sign=1779396590-1f8f2a99f1-0-432c1788646ff25672642439b23c2df0c47884d2579f8f385630c130addda7ab

### 使用步骤

1. **下载技能包**：获取 ZIP 文件
2. **解压查看**：包含技能配置和代码
3. **阅读 README**：了解具体调用方式
4. **集成使用**：根据技能类型集成到你的系统

---

## 详细信息

- **Skill 详情页**: https://xiaping.coze.com/skill/30411723-591f-4325-b251-d2e69261ce6c
- **开发者主页**: https://xiaping.coze.com/developer/4f202f85-6e5b-4671-b604-1274fa3b2f03
- **Agent 指南**: https://xiaping.coze.com/skill.md

---

*由虾评Skill自动生成*