corpus-data 开源项目推荐（189 个）

esbatmop /MNBVC

MNBVC(Massive Never-ending BT Vast Chinese corpus)超大规模中文语料集。对标chatGPT训练的40T数据。MNBVC数据集不但包括主流文化，也包括各个小众文化甚至火星文的数据。MNBVC数据集包括新闻、作文、小说、书籍、杂志、论文、台词、帖子、wiki、古诗、歌词、商品介绍、笑话、糗事、聊天记录等一切形式的纯文本中文数据。

PlexPt /chatgpt-corpus

ChatGPT 中文语料库 对话语料 小说语料 客服语料 用于训练大模型

sheepzh /poetry

地球上最全的华语现代诗歌语料库，3k+诗人，80K+诗歌，15M+字

shijiebei2009 /CEC-Corpus

:books:中文突发事件语料库（Chinese Emergency Corpus）-上海大学-语义智能实验室

gkiril /oie-resources

一份精选的开放信息提取（OIE）资源清单：论文、代码、数据等。

guhhhhaa /4675-scifi

chinese NLP corpus of chinese science fiction,chinese science fiction corpus : About 4675 Chinese science fiction novels 大约有4675本科幻小说，中文科幻小说自然语言处理语料库，中文科幻小说文本语料库，中文科幻小说文本数据库，科幻小说语料

grammarly /ua-gec

UA-GEC: Grammatical Error Correction and Fluency Corpus for the Ukrainian Language

guhhhhaa /wula-scifi

chinese NLP corpus of chinese science fiction, chinese science fiction corpus: Archive of the Ark Plan of Ula Science Fiction Website 乌拉科幻小说网方舟计划存档，中文科幻小说自然语言处理语料库，中文科幻小说文本语料库，中文科幻小说文本数据库，科幻小说语料

clarin-eric /ParlaMint

ParlaMint: Comparable Parliamentary Corpora

aplmikex /deduplication_mnbvc

文本去重

NathanDuran /Switchboard-Corpus

Utilities for Processing the Switchboard Dialogue Act Corpus

lemonmindyes /bilibili_comment_crawl

爬取bilibili视频下的评论，最新出品！！！⚠本代码只适用于学习，做其他事情概不负责！！！

dataset-vn /DANeS

DANeS is an open-source E-newspaper dataset by collaboration between DATASET JSC (dataset.vn) and AIV Group (aivgroup.vn)

zonghui0228 /BioMedical-NLP-corpus

Biomedical NLP Corpus or Datasets.

johentsch /ms3

A parser for annotated MuseScore 3 files.

jaaack-wang /ccnc

CCNC: A Comprehensive Chinese Name Corpus (3.65M name samples). 大型中文姓名语料库 (内含365万姓名语例)。

shijiebei2009 /CEEC-Corpus

📚中文环境突发事件语料库（Chinese Environment Emergency Corpus）-上海大学-语义智能实验室

KehaoWu /Jinyong-Corpus

金庸15部小说字典

hailiang-wang /egret-wenda-corpus

A Public Corpus for Machine Learning

CanCLID /canto-filter

粵文語料篩選器 Cantonese text filter