搜索引擎最基本的模式是自动化地聚合足够多的“内容”,对之进行解析、处理和组织,响应用户的搜索请求找到对应结果返回。每一个环节,都需要用到自然语言处理。
爬取网页时要分析HTML页面以及处理爬取到的网页内容时,需要对起进行解析、分词、变换等,这十分依赖自然语言处理技术。搜索引擎要听懂用户的“人话”,用户的搜索请求又是千奇百怪的,关键词组合的方式越来越少,直接用自然语言搜索已成为不少人的习惯,人们更倾向于搜索“广州到北京的航班信息”而不是“广州 北京 航班”,因此搜索引擎必须理解用户意图才可以帮助其去找到准确答案。
每一个环节自然语言处理都十分重要。这是NLP技术致力于解决的问题。自然语言处理(Natural Language Processing:NLP)是计算机科学、人工智能以及语言学的交叉学科,旨在解决计算机与人类语言之间的交互问题,这其中包括对自然语言的分析、理解、生成、检索、变换及翻译等方面。白小姐开奖结果,