镇江新闻网
SEO

浅谈搜索引擎百度分词技术

作者: 来源: 时间:2020-05-27

阿霸为了让大家更好的理解如何去选择关键字词,特意做了一些分词测试试验,归纳了一些关于搜索引擎百度分词的经验向大家分享。希望可以帮助站长们更深层的理解搜索引擎分词技术,做好自己的网站,获得更好的排名。

一、搜索引擎中文分词技术

搜索引擎中文分词技术简单来说,就是把中文的汉字序列切分成有意义的词组。

分词例子:我/是/一个/学生

二、搜索引擎分词技术简述

1.基于字符串匹配的分词方法

按照一定的策略将待分析的汉字串与一个极其词库中的词条进行匹配。

常用分词的方法:

正向最大匹配法(由左到右的方向)

分词测试例子:我/有意/见/分歧

反向最大匹配法(由右到左的方向)

分词测试例子:我/有/意见/分歧

据大量测试数据统计结果表明:单纯使用正向最大匹配的错误率为1/169,单纯使用反

向最大匹配的错误率为1/245。逆向匹配的切分精度略高于正向匹配。

2.基于统计的分词方法

相邻的字同时出现的次数越多,就越有可能构成一个词。用于系统自动识别新词。

3.基于理解的分词方法

在分词的同时进行句法、语义分析,利用句法信息和语义信息来处理歧异现象。

三、百度搜索引擎分词技术分析

1.最大分词词长

分词测试查询:当然以

分词技术归纳:少于等于3个中文字不切割

分词测试查询:电影下载

分词技术归纳:对于大于等于4个汉字的词将被分词

2.分词匹配算法

分词测试查询:查询:“工地方向导”

正向最大匹配:工地/方向/导

反响最大匹配:工/地方/向导

百度采用 正向最大匹配算法

分词测试查询:邓小平安定军山

正向最大匹配:邓小平/安定/军/山

百度分词结果:邓小平/安/定军山

分词结论:百度识别人名、影视、戏剧名等专用词,转用词库分词时优先。

分词测试查询:何润东西南北(“何润东”、“东西南北”两个词)

正向最大匹配:何润东/西/南北

分词技术归纳:首先用专用词典采用最大正向匹配分词,切出部分结果;剩余没有切分交给普通词典,同样采取正向最大匹配分词。

关于搜索引擎分词技术,阿霸这次就先写到这。但是搜索引擎的分词技术远远不止这些,分词中的一些难题,如歧义识别、新词识别、拼写检查错误提示、拼音提示功能、相关搜索提示等深一些的日后有机会再向大家一一介绍。

大家有兴趣进一步了解这方面的相关知识,可以来我们的交流群一起交流。

中国站长资源网超级群-(500人)群号:47788123 (群共享中很多SEO资源、网站运营资源供群友下载!)

建群目的:帮助站长们解决问题,菜鸟老手一视同仁,能教就教!能帮就帮!

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源; 2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任; 3.作者投稿可能会经我们编辑修改或补充。

相关文章
  • 七部门出台文件 约束地方天价彩礼、涉黑涉...

  • 苏州市一名消防员因救援轻生女子溺水牺牲

  • “谭松韵妈妈车祸案”肇事者自首 警方:疑...

  • 闽东医院皮肤科设立病房 今后需要住院的病...

  • 北京警方捣毁36处制贩假酒窝点

  • 九江市政协党组成员、副厅级干部古小平被查

  • 住建部:两城市出入口景观建设存在“形象工...

  • 浅谈搜索引擎百度分词技术