400-123-4567

智能识别技术让计算机看懂世界互联网发展之初受到网络带宽、数据存储等涉及技术的容许，信息的传播以单模态形式居多，如文字报导、图像Blogger等。转入大数据时代，信息的传播显得丰富多彩，人们从互联网中同时拒绝接受图像、视频、文本等有所不同模态的信息。例如，当我们在互联网上网页一篇精彩的新闻报道时，不仅可以看见详尽的文字描述，还能看见记者在现场摄制的照片，甚至还有涉及的视频报导。这反映了互联网数据从单模态到多模态的改变。

随着互联网多模态数据的大量经常出现和传播，“管不住”和“用很差”两大问题也日益突出。“管不住”是所指多模态大数据中隐蔽着大量涉恐、涉暴等有害信息，很大地危害着国家安全性和社会平稳，目前还缺少自动的分析与辨识技术。

“用很差”是指现有技术一般是单模态分析与辨识，仅有针对信息受限的单模态数据，无法对多模态数据展开有效地利用。如何让计算机看懂世界，构建对互联网多模态大数据的有效地监管与利用，是目前急需解决的根本性问题。针对上述问题，北京大学彭宇新教授团队在国家自然科学基金、国家863计划、国家科技承托计划等反对下，几经10余年技术研制成功，在图像视频概念检测、视觉目标检测、多模态数据分析与辨识、互联网舆情监测四个方面获得了多项根本性技术突破和发明者创意。

在2016年北京市科学技术奖票选中，“互联网多模态内容分析与辨识关键技术及应用于”项目荣获一等奖。突破单模态分析与辨识技术单模态分析与辨识是突破互联网多模态内容辨识的基础和关键技术。

图像、视频和文本是单模态信息的最重要形式，如何使计算机需要自动分析与辨识图像、视频和文本的内容之后沦为了研究与应用于的难题问题。图像、视频中一般包括某种语义概念，如篮球比赛、奥运会等；同时也包括视觉目标，如行人、汽车、旗帜等。“虽然人类需要很更容易地辨识与解读这些概念与目标，但在计算机显然，数字图像就是由一个个像素点包含，这样人类的语义概念及视觉目标与计算机看见的二进制数值之间就不存在难以逾越的‘语义鸿沟’。”北京大学彭宇新说道。

由于图像、视频的语义概念较为抽象化、视觉目标复杂多变，如“奥运会”这一概念很难从视觉上精确定义，而“旗帜”等目标不具备相同的形态，造成计算机自动分析与辨识的难度很大。彭宇新团队针对图像视频概念检测难题，发明者了基于注意力模型和增量深度自学的分类方法，一方面注意力模型需要定位图像的显著性区域以提升检测精度；另一方面增量自学在新概念减少过程中，需要利用早已自学到的科学知识加快新的科学知识自学，同时通过动态配套以反对新概念的检测。

该方法使得特定概念的检测精度突破90％。针对简单场景下视觉目标检测问题，发明者了级联分类器与极角流形约束结合的判断方法，一方面通过级联分类器从海量数据中较慢检验出有有可能包括特定目标的候选区域，减缓检测速度；另一方面通过极角流形约束对候选区域展开二次判断，提升检测精度。该方法提升了低分辨率、应力、透视等简单情况下的检测效果，使得特定视觉目标检测精度突破90％。

基于上述研究成果，彭宇新教授团队参与了国际权威评测TRECVID的视频高层概念检测比赛，取得第一名，参赛队伍还包括卡内基梅隆大学、牛津大学、IBMWatson研究中心等国际知名大学和研究机构。在文本内容分析上，热点话题检测与脆弱信息找到是互联网舆情监测的两个主要应用于市场需求。热点话题与脆弱信息一般来说包括特定的人名、地名、机构名等实体信息，有效地辨识实体信息是文本内容分析的关键。

针对上述问题，项目团队发明者了基于科学知识元的多模态语义分析方法和基于情感观点的话题跟踪方法，有效地解决问题了互联网内容的语言规范性劣、噪音大、时效性低造成实体无法辨识和利用的问题。在国际权威评测TREC2014年和2015年的微博信息检索比赛中取得第一名。

本文来源：万博app|官方网站IOS/安卓通用版/手机APP，官网-www.wingcoo.com