理解语言拥有智能改变世界新时代

理解语言 拥有智能 改变世界

今天的百度相比于五年前有哪些变化?如果有人这样问你，你会怎样回答?也许你会打开百度，搜一搜立即进入脑海的几条关键词，再努力地回忆和对比着百度曾经的样子。你一定会发现，那个每天陪伴你的百度，竟发生了这么多的变化。它的搜索结果不再仅仅是页链接，而是更像一本精心排版的杂志文字、图片、音视频合理搭配;搜索结果页的右侧不再是广告或者留白，而是有条不紊地分布着与用户需求相关的图文并茂推荐内容;对于信手输入的一个问句，百度甚至可能直接返回一条精确答案而在这一切变化的背后，百度有一个部门功不可没，它有甬城变“泳城”。一个很专业的名字自然语言处理部。

自然语言处理(NaturalLanguageProcessing：NLP)是计算机科学、人工智能以及语言学的交叉学科，旨在解决计算机与人类语言之间的交互问题。这其中包括对自然语言的分析、理解、生成、检索、变换及翻译等方面。自百度诞生之日起，NLP技术就在其中起到了至关重要的作用，从百度为第一个用户搜索第一条结果开始，中文分词这样的基础NLP技术便是整个搜索引擎必不可少的组成部分。而伴随着百度的快速发展，百度NLP团队也在同步地、甚至更快地发展壮大。这个发展的加速度始于2010年春，随着国际顶级自然语言处理专家王海峰博士加盟百度，百度NLP的工作进行了重新梳理与规划，除分词、专名识别、query需求分析、query改写等传统方向得到加强外，也拓展了机器翻译、机器学习、语义搜索、语义理解、智能交互、深度问答、篇章理解等新的技术方向。在他的带领下，NLP团队已经由当初仅10余人发展成为今天超过200人规模的团队，团队成员包含算法开发、系统实现、学术研究、语言学、产品设计和架构、前端、客户端工程开发等多元化人才，全面支持百度各种产品应用。下面我们来近距离看一看这些年百度NLP的杰出成绩。

首先，我们看看NLP在百度的主战场搜索产品上的出色表现。这其中，NLP的query分析方向默默地记录了百度成长的年轮。百度最基础的查询分析，即搜索关键词重要性计算、紧密度计算，便是由NLP完成的。随着搜索引擎的普及，百度NLP人敏锐地发现，用户的输入越来越长、也越来越随意，于是他们设计开发了查询改写系统，通过借鉴机器翻译领域的技术思路，将查询改写看作是同一种语言间的翻译问题，成功地实现了将用户的冷门查询翻译成同义热门查询的目的，明显改善了用户的搜索体验。2009年，百度提出框计算，开始倡导即搜即得，即搜即用的理念。而百度NLP则承担了查询意图识别的重任。天气、日历、机票、汇率数以百计的需求类别在普通用户看来繁冗琐碎，而对于NLP人来说，则意味着必须研究出通用的模型算法，一揽子地解决所有类别的意图分类。他们做到了，以至于今天你在百度中简单的输入北京上海两个城市的名字，百度也能理解你是想查询两座城市间的航班和车票。对极致的追求是一种习惯，2013年，百度NLP将句法分析技术应用到query分析中，以解决复杂长查询的意图分析问题。笔者在百度中搜索演过还珠格格的台湾演员，得到的是陈志朋等精准答案。研发句法分析技术的研究员不无自豪地告诉笔者，这是因为句法分析技术准确地理解了笔者要搜索的是演员，且要满足台湾和演过还珠格格这两条约束，进而从知识库中查询出来的答案。

图1：句法分析技术应用于对复杂长查询的理解

理解用户需求，更要满足用户需求。2012年，百度NLP启动了知识搜索项目，他们给这个项目取了一个沿用至今的名字百度知心。这是一个双关语，百度知心项目的提出者告诉笔者，一是说我们要打造百度的知识中心，二是要让百度更知用户的心。2012年底，百度知心在NLP人的推动下成功上线，并快速成为百度的重要产品，现如今，知心产品已经覆盖了大量的用户搜索访问。而百度NLP的技术和资源直至今天仍然源源不断地为百度知心注入新的生命力。以百度知心右侧推荐为例，里面就有好几项NLP技术。百度NLP知识挖掘方向的技术负责人说，我们搜索青藏高原和小威的时候，知心右侧都会推荐李娜，但前者推荐的是歌唱家李娜，后者推荐的是球明星李娜，这便是基于NLP的实体消歧技术。再请看，每个推荐实体的下面都会有一行灰色的小字，我们称为推荐理由，目的是给用户呈现更丰富的信息，同时也为了增加吸引力，让用户对推荐的内容更感兴趣。还有，知心右侧的推荐实体不是静止不变的，而是随着用户的点击行为动态变化的，这是基于NLP的学习算法一谈起技术来，这位技术负责人便满脸兴奋，滔滔不绝。笔者在感叹百度产品深厚的技术附加值的同时，也被百度NLP人深耕技术的执着所折服。

图2：百度知心对query小威(左)和青藏高原(右)的右侧推荐结果

今年9月16日晚，江苏卫视《芝麻开门》节目出现了一位特殊的嘉宾一个机器人答题选手。别看这个机器人动作迟缓、憨态可掬，但回答起问题却是游刃有余。凭借着快速的反应和准确的应答，这个机器人连闯四关，引得台下掌声不断。它叫小度机器人，它的背后是百度NLP的深度问答项目。对深度问答技术的研发过程远不像小度机器人在台上答题这般轻松愉快，一个完整的深度问答系统需要多项NLP技术组合而成，从问题分类到需求解析，从页检索到知识库查询，从信息抽取到答案排序每一个环节都需要达到很高的精度，才能使得最终搭建起来的问答系统准确地理解问题并给出答案。事实上，除小度机器人外，百度NLP的深度问答项目也正润物细无声地在百度搜索引擎中上线。例如，当我们在百度中搜索花生发芽了还能吃吗，得到的答案已不再是互联上五花八门的原始页答案，而是让人一目了然的汇总式答案摘要。这些答案便是NLP深度问答系统自动对上大量相关知识进行自动分析、抽取、统计而得到的。除了对于这种相对客观的观点进行汇总之外，百度NLP的情感分析技术还实现了针对主观观点的汇总。例如在百度搜索起亚k5口碑，百度将民的评论按照操控、空间、舒适性等多个维度，分优点和缺点进行了汇总。可以说，百度已经突破了传统搜索引擎的概念，因为它不仅搜索信息，而且还生产知识。

图3：百度NLP深度问答项目针对用户问题进行知识搜索，并提供答案摘要

图4：基于情感分析技术实现对主观观点的汇总

如果说深度问答项目还是为了解决用户一问一答式的精准问答需求的话，那么百度NLP的智能交互方向则将目标锁定在了自然语言多轮交互式搜索上。让用户使用自然语言进行搜索，并且采用多轮交互的方式来逐步澄清和满足需求，从而完成深度决策型的搜索任务。百度NLP的技术负责人吴华博士如此告诉笔者。这是一个美好的图景，但是如何实现呢?似乎学术界和工业界都没有给出一套完整、成熟且可行的方案。于是百度NLP人分兵多路，从不同的角度探索交互式搜索的技术和产品样式。在百度语音助手上，NLP的交互式搜索技术率先上线了，用户可以通过语音输入并以多轮交互的方式订机票。在此基础上，NLP人一鼓作气探索了多模(multi-modal)交互技术，用户除了使用文字和语音输入之外，还可以输入图片。用户用随手拍下身边的一朵花，百度的图片识别技术会自动识别这是什么花，如果无法确定的话，便会基于知识库与用户交互，直至得到精确答案。而这还仅仅是个开始。今年6月初，正当全国高考进行地得如火如荼之时，百度NLP将另一款交互式搜索产品推向市场，这是一款移动轻应用，被命名为百度考霸。交互式搜索技术结合意图解析、深度问答、知识库查询、情感分析等一系列NLP技术，辅助高考考生填报志愿。百度考霸一经推出便成为考生们热议的焦点，高考期间为考生提供服务超过550万次。除移动端之外，交互式搜索技术在百度页搜索端也已经生根发芽。泛需求搜索便是交互式搜索技术在页搜索端的一种落地样式。泛需求搜索是指用户想搜索一类事物，但对目标对象的约束条件却模糊不清。对于这类搜索需求，百度会将所有满足用户需求的对象分门别类地展在(厄瓜多尔)大使馆呆了两年多未外出一步现出来，用户则可以通过点选的交互方式便捷地浏览搜索结果。例如，在百度中搜索家常菜，搜索引擎将返回的3万多种家常菜按照菜系、功效和口味进行归类展现，层次分明、一目了然。

图5：泛需求搜索是交互搜索技术在页搜索端的实现样式之一

百度更懂中文，当年百度向中国民许下的承诺，如今百度NLP人正在一步步实践。然而百度NLP更懂的又何止中文。今年7月，中国和巴西两国元首共同出席百度巴西葡语搜索引擎启动仪式，这标志着百度国际化战略迈出的重要一步，而这一步的背后有百度NLP的国际化团队的稳固支撑。阿拉伯语、泰语、葡萄牙语百度NLP技术正在读懂这些语言，并且读懂这些语言所承载的需求。

机器翻译，是集NLP众多技术大成的一项技术，作为机器翻译领域的国际级专家，王海峰在加入百度之初，就为百度开创了机器翻译领域的研发。2011年7月，百度中-英翻译服务正式上线。而如今，百度翻译已经支持14个语言方向、36个语言对的翻译服务，且翻译水平业界领先。在这背后，百度强大的大数据处理能力支撑了多语言海量翻译语料的自动挖掘;同时，百度NLP在翻译模型上的积累和创新也保证了翻译质量的持续优化。在百度机器翻译技术肥沃的土壤里，很多新产品也应运而生。实物翻译可以对拍的照片中圈定的物体进行翻译;菜单翻译则可以对外文菜单上的菜名与食材进行翻译。有了这些贴心的翻译产品，国人不必再担心出国旅游时迷失在异乡的街头，也不必在面对天书一般的外国菜单时一筹莫展了。难怪百度CEO李彦宏今年随习近平主席出访韩国时，也不忘在中韩经贸论坛的主题演讲中向中韩两国元首及来宾介绍百度机器翻译的技术和产品。

图6：百度翻译服务

创新是没有边界的，百度NLP人也没有将自己固定在自然语言处理的传统领域里。2014年的百度世界大会上，两款科幻感十足的产品吸引了很多人的眼球。一款是百度筷搜，可以通过一双筷子自动甄别食材安全，帮助人们掌握食品的信息，让人们的饮食更健康。另一款是智能围棋Bingo，Bingo已在9路围棋中达到准职业选手的水平，19路上也已取得了击败业余段位围棋选手的战绩。而出乎人意料的是，这两款技术含量十足的产品竟都出自于百度NLP工程师们之手。看到这两款产品，笔者不禁想到，互联圈子里经常将工程师戏称为攻城狮。这个词用在百度NLP的工程师们身上看来再合适不过了，攻城拔寨、战无不克，似乎没有什么可以阻碍他们对未知的好奇和对创新的渴望。

图7：百度筷搜

如今，已经身为百度技术副总裁的王海峰仍然常用仰望星空，脚踏实地来与NLP部门的同事们共勉。严谨务实已由他个人的风格演变成百度NLP人的基因，而这也使得他们接近星空的每一步都走得无比踏实安稳。当被问到百度NLP的理想和抱负是什么的时候，王海峰凝练地总结了十二个字：理解语言，拥有智能，改变世界。让计算机理解人类的语言，打造出真正拥有智能的产品，改变亿万用户的生活，最终让人们的生活更美好、也让世界更美好。这是百度NLP人共同的理想，这个理想正在他们的坚持不懈的努力中一步步变为现实

关注ITBear科技资讯公众号（itbear365 ），每天推送你感兴趣的科技内容。

特别提醒：本内容转载自其他媒体，目的在于传递更多信息，并不代表本赞同其观点。其原创性以及文中陈述文字和内容未经本站证实，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺，并请自行核实相关内容。本站不承担此类作品侵权行为的直接及连带。如若本有任何内容侵犯您的权益，请及时联系我们，本站将会在24小时内处理完毕。