正向最大匹配算法:从左到右将待分词文本中的几个连续字符与词表匹配,如果匹配上,则切分出一个词。但这里有一个问题:要做到最大匹配,并不是第一次匹配到就可以切分的 。
函数中包含三个参数:
$query 查询词
$dict 词典
$max_len 最大长度(这里默认值设置为15)
词典示例:
$dict = array( '2站'=>'2站', '2站下载'=>'2站下载', 'JS编程'=>'JS编程');函数定义:
/* * $query 查询词 * $dict 词典 * $max_len 最大长度 */function extractWords($query,$dict,$max_len=15){ $feature = ""; $slen=mb_strlen($query,'UTF8'); $c_bg = 0; while($c_bg<$slen){ $matched = false; $c_len =(($slen-$c_bg)>$max_len)?$max_len:($slen-$c_bg); $t_str = mb_substr($query, $c_bg,$c_len,'UTF8'); for($i=$c_len;$i>1;$i--){ $ttts = mb_substr($t_str, 0,$i,'UTF8'); if(!empty($dict[$ttts])){// echo 'matched = '.$ttts.PHP_EOL; $matched = true; $c_bg += $i; if(!empty($feature)){ $feature.=","; } $feature.=$ttts; break; } } if(!$matched){ $c_bg++; } } echo $feature.PHP_EOL;}使用方法:
$query='欢迎访问2站!2站是国内专业的网站,提供各种脚本下载及JS、Python、php等编程资料';extractWords($query,$dict);运行结果:
2站,2站,2站下载原文链接:http://blog.csdn.net/liuhuoxingkong/article/details/50983032© 版权声明
文章版权归作者所有,未经允许请勿转载。
THE END

















暂无评论内容