lionsoul2014 /friso
高性能中国分词器，支持基于ANSI C开发的MMSEG算法，支持GBK和UTF-8字符集。 完全基于模块化实现，并且可以轻松嵌入其他程序中，比如：MySQL、PostgreSQL、PHP等。
C514
chinese-tokenizer 开源项目推荐（8 个）
chinese-tokenizer 话题在 GitHub 上没有填写简介，这里按 Star 数汇总最相关的热门仓库。
8收录项目
907Star 总量
3覆盖语言
相关标签
热门项目 全部 8
GitHub 共 8 个仓库，已全部展示
howl-anderson /MicroTokenizer
一个轻量且功能全面的中文分词器，帮助学生了解分词器的工作原理。MicroTokenizer: A lightweight Chinese tokenizer designed for educational and research purposes. Provides a practical, hands-on approach to understanding NLP concepts, featuring multiple tokenization algorithms and customizable models. Ideal for students, researchers, and NLP enthusiasts..
Python160
supercoderhawk /DeepLearning_NLP
基于深度学习的自然语言处理库
Python158
samzshi0529 /HanziNLP
A NLP package for Chinese text：Preprocessing, Tokenization, Chinese Fonts, Word Embeddings, Text Similarity and Sentiment Analysis 轻量级中文自然语言处理软件包
Python36
howl-anderson /Chinese_tokenizer_benchmark
中文分词软件基准测试 |中国代币基准
Python25
howl-anderson /PaddleTokenizer
使用 PaddlePaddle 实现基于深度神经网络的中文分词引擎 | A DNN Chinese Tokenizer by Using PaddlePaddle
JavaScript14
volgachen /Chinese-Tokenization
UCAS Homework for NLP
Python0
HuangStomach /the-imp
Chinese tokenizer base on nodejieba and pullword
JavaScript0
关于这个话题
- 清单取自 GitHub 话题页并按 Star 数排序，每次展示前 8 个项目；原始页面见 https://github.com/topics/chinese-tokenizer。
- 该话题在 GitHub 上共有 8 个仓库， 本站收录的是其中最热门的 8 个，不是全量列表。
- Star / Fork 每日自动刷新一次，实时数据以 GitHub 为准。
- 当前 8 个项目累计 907 Star，覆盖 3 种主要语言，数据更新于 2026-11-10。
- 中文介绍来自 GitHub 官方话题说明（github/explore）的机器翻译，可点「查看原文」对照；译文缺失时会先展示原文。