正向最大匹配算法:从左到右将待分词文本中的几个连续字符与词表匹配,如果匹配上,则切分出一个词。但这里有一个问题:要做到最大匹配,并不是第一次匹配到就可以切分的 。
函数中包含三个参数:
$query 查询词
$dict 词典
$max_len 最大长度(这里默认值设置为15)
词典示例:
$dict
=
array
(
'2站'
=>
'2站'
,
'2站下载'
=>
'2站下载'
,
'JS编程'
=>
'JS编程'
);
函数定义:
/*
* $query 查询词
* $dict 词典
* $max_len 最大长度
*/
function
extractWords(
$query
,
$dict
,
$max_len
=15){
$feature
=
""
;
$slen
=mb_strlen(
$query
,
'UTF8'
);
$c_bg
= 0;
while
(
$c_bg
<
$slen
){
$matched
= false;
$c_len
=((
$slen
-
$c_bg
)>
$max_len
)?
$max_len
:(
$slen
-
$c_bg
);
$t_str
= mb_substr(
$query
,
$c_bg
,
$c_len
,
'UTF8'
);
for
(
$i
=
$c_len
;
$i
>1;
$i
--){
$ttts
= mb_substr(
$t_str
, 0,
$i
,
'UTF8'
);
if
(!
empty
(
$dict
[
$ttts
])){
// echo 'matched = '.$ttts.PHP_EOL;
$matched
= true;
$c_bg
+=
$i
;
if
(!
empty
(
$feature
)){
$feature
.=
","
;
}
$feature
.=
$ttts
;
break
;
}
}
if
(!
$matched
){
$c_bg
++;
}
}
echo
$feature
.PHP_EOL;
}
使用方法:
$query
=
'欢迎访问2站!2站是国内专业的网站,提供各种脚本下载及JS、Python、php等编程资料'
;
extractWords(
$query
,
$dict
);
运行结果:
2站,2站,2站下载
原文链接:http://blog.csdn.net/liuhuoxingkong/article/details/50983032
© 版权声明
文章版权归作者所有,未经允许请勿转载。
THE END
暂无评论内容