资 源 简 介
用hadoop的mapreduce模型做了一个自动识别行业词的程序, 从算法上降低了计算量,而且分布式的话会更加快.
我用一份从51job, 智联招聘, 中华英才网等290多家招聘网站抓取的311万条职位语料做测试,5, 4元词词频在1000以上的正确率达95%以上,3元的差了点在60左右(没仔细统计,估计去掉功能字会好些), 2元的99%以上.
这个东东对做行业词库比较有用, 可以增加中文分词器的精度.
希望有大量语料的兄弟能给些过来测试. 我会考虑更好的算法. :)
很奇怪的是4元词词频最高的是"项目经理",看来这年头管理的人员貌似很多哦
不过5元的词频最高前几位都是"XX工程师",不管什么都是工程师了, 名称挺cooool的,实际上就是打杂的小兵.
可想而知3元最多的是"工程师"了.
我已经去了高元向低元词的统计重叠,这个统计没错
