混合CHI 和MI 的改进文本特征选择方法

时间:2022-07-06 13:25:54
作者:王振,邱晓晖
关键字:文本分类,特征选择,卡方统计,互信息,词频因子,调节参数
DOI:10.3969/j.issn.1673-629X.2018.04.018
查看次数:363

如需要完整文档点击下方 "点击下载文档" 按钮

特征选择在文本分类技术中是一个重要的关键部分,特征选择的好坏直接决定最终的分类结果。卡方统计量(CHI-square statistic,CHI)和互信息(mutual information,MI)是特征选择模块经常使用的方法。针对卡方统计量方法不考虑词频的不足,引入词频因子。 考虑互信息方法倾向选择低频词的缺点,并研究特征词在不同类别文档内的分布情况对互信息方法的特征选择的影响,通过引入特征的词频因子和调节参数对卡方统计量方法和互信息方法进行改进,并混合改进后的卡方统计量方法和互信息方法,提出一种混合的特征选择算法(CHMI)。通过对 CHI 方法、MI 方法、改进的 CHI方法、改进的 MI 方法和 CHMI 方法进行实验对比,使用 CHMI 方法进行特征选择,使最终分类结果的查准率和F1 值都有了提高,验证了CHMI 方法的有效性。

如需要完整文档点击下方 "点击下载文档" 按钮

混合CHI 和MI 的改进文本特征选择方法
《混合CHI 和MI 的改进文本特征选择方法》
完整文档 下载到本地,方便收藏和查阅
文件号:062532
混合CHI 和MI 的改进文本特征选择方法
点击下载文档
混合CHI 和MI 的改进文本特征选择方法

点击下载 文件号:062532(点击复制) 公众号(点击复制)

x