MIT License

项目介绍

yaleimeng/Final_word_Similarity 是一个托管在 GitHub 上的开源项目,主要使用 Python 编写,采用 MIT License 许可证,目前获得 744 个 Star、153 次 Fork。

仓库全名
yaleimeng/Final_word_Similarity
开源许可证
MIT License
Star 数
744
Fork 数
153

README 摘要

词语相似度高级版 综合词林扩展版与Hownet的相似度计算策略和评价指标,来自文献1,代码为本人实现。采用融合计算方式,扩大了词汇覆盖面,也改进了计算结果的合理性。 具体算法选择: 词林扩展版 (1)最初采用了【词林相似度计算:实现了3种算法】 中的2016版代码(文献1),比另2种算法效果更好。 (2)后来发现作者团队发表了更新、更优的算法——文献2。于是实现了其中算法,经验证论文结果属实。 (3)再后来发现又有了新的算法——文献3。然后按论文思想,原封不动实现效果略逊色于论文数据。但经过调整策略,最终效果优于论文本身。 知网Hownet (1)开源的代码大多均参考刘群的论文,但效果与主观感受有差距。目前选用:【知网相似度计算】。本人修改了其中读取词表遗漏的bug,改善了代码的风格,提高了可读性。 (2)知网计算相似度已有最新论文——文献4,性能有较大提升(在改进Hownet上达到0.84),但算法代码有待实现…

完整内容见 GitHub 原始 README 或本页 。

常见问题

Final_word_Similarity 用什么语言开发?

主要使用 Python 编写,采用 MIT License 许可证,目前有 744 个 Star。

Final_word_Similarity 可以免费商用吗?

仓库采用 MIT License 许可证,可免费使用与修改,商业使用请遵守许可证条款(例如保留版权声明与许可声明)。

如何获取 Final_word_Similarity 的源码?

可以直接克隆仓库:git clone https://github.com/yaleimeng/Final_word_Similarity.git,默认分支为 master;安装与运行步骤见仓库 README。

Final_word_Similarity 最近还在维护吗?

仓库最近一次更新为 2022年2月16日,当前没有未关闭的 Issue;Star 数为 744,可作为社区活跃度的参考。

简要分析

热度分
1063
价值分
493
活跃状态
活跃

语言占比

Python

贡献者

README

词语相似度高级版

综合词林扩展版与Hownet的相似度计算策略和评价指标,来自文献1,代码为本人实现。采用融合计算方式,扩大了词汇覆盖面,也改进了计算结果的合理性。

具体算法选择:

  • 词林扩展版
    (1)最初采用了【词林相似度计算:实现了3种算法】 中的2016版代码(文献1),比另2种算法效果更好。
    (2)后来发现作者团队发表了更新、更优的算法——文献2。于是实现了其中算法,经验证论文结果属实。
    (3)再后来发现又有了新的算法——文献3。然后按论文思想,原封不动实现效果略逊色于论文数据。但经过调整策略,最终效果优于论文本身。

  • 知网Hownet
    (1)开源的代码大多均参考刘群的论文,但效果与主观感受有差距。目前选用:【知网相似度计算】。本人修改了其中读取词表遗漏的bug,改善了代码的风格,提高了可读性。
    (2)知网计算相似度已有最新论文——文献4,性能有较大提升(在改进Hownet上达到0.84),但算法代码有待实现,希望得到网友贡献。

参考文献

【1】《基于知网与词林的词语语义相似度计算》朱新华,马润聪,孙柳,陈宏朝,2016年7月《中文信息学报》
【2】《基于路径与深度的同义词词林词语相似度计算》陈宏朝, 李飞, 朱新华,马润聪. 2016年9月《中文信息学报》
【3】《基于信息内容的词林词语相似度计算》彭琦, 朱新华, 陈意山,等.2018年2月《计算机应用研究》
【4】《基于多重继承与信息内容的知网词语相似度计算》张波,陈宏朝,朱新华等.2017年10月 《计算机应用研究》

不同语义库上算法对比:

相似度方法 所用语义词典 词汇量 皮尔逊系数
田久乐 赵蔚(2010) 同义词词林 77456 0.53
吕立辉等(2013) 同义词词林 77456 0.74
陈宏朝等(2016-9) 同义词词林 77456 0.856
yaleimeng(2018) 改进的词林 77490 0.917
相似度方法 所用语义词典 词汇量 皮尔逊系数
刘群、李素建(2002) HowNet(知网) 53335 0.699
Seco(2004)+Lin方法 HowNet(知网) 53335 0.738
李峰、李芳(2007) HowNet(知网) 53335 0.793
张波等(2017) 改进HowNet 53335 0.84
相似度方法 所用语义词典 词汇量 皮尔逊系数
yaleimeng(2018) 词林+HowNet 85777 0.885

注:
1 上面的皮尔逊系数均在MC30数据集上测得。
2 本混合方法计算可调节词林与hownet计算结果的权重,表格中成绩可能为最大值(两词均被同时收录)。

如需了解预训练词向量计算的中文词语相关度,可参见:中文近义词工具包Synonyms

原创不易,欢迎打赏、捐赠:

评论

暂无评论