九眼智能信息过滤:大数据技术推动产品升级
社交、直播、论坛、电商等各类平台每天都会产生海量UGC,其中不可避免地混杂有大量垃圾文本。这些内容不但严重影响用户体验,而且还可能发生违规的运营风险。
互联网不良信息过滤、内容审核的尴尬终于随着互联网技术的发展而迎来了可能的解决办法,那就是人工智能;2016年网信办发布的《未成年人网络保护条例》明确鼓励并支持研发、生产和推广为成年人上网保护软件。技术发展再加上政策支持,内容审核技术的发展终于迎来了春天。
人工智能的内容审核方式是让机器在海量的图像、文本、视频数据下深度学习,不断提升系统对于各种类型内容的识别数量和判断精度,概括而言就是将深度学习应用于文本语言信息的技术。截止到目前为止,国内人工智能产业中,以“文本智能挖掘”作为核心技术的公司数量已高达上百家,而细分到“不良信息过滤”这个环节上,可以与商业场景紧密结合,并在识别“暴恐”、“敏感信息”、“小广告”等违规文本信息过滤的国内系统并不多,而九眼智能过滤系统就是其中之一,其充分融合了自然语言理解、人工智能、大数据分析等领域尖端技术,具有智能化、语义化、实时性三大特点。
九眼智能过滤系统面向复杂文本大数据的内容智能过滤系统,可实时智能识别关键词音变、形变与拆字等常见变体,并实现了语义的精准排歧,系统内置了国内全面、实时的知识库,适用于多场景不文明信息内容的智能过滤发现。
九眼智能过滤三大技术核心:智能变种、语义排歧、快速实时
1、智能变种识别:九眼智能过滤利用美双数组TRIE树词典管理与检索方法,系统自动识别形变词、音变词、拆字、噪音、繁简体、全角半角、中间加各类干扰噪音等变体; 同时,系统支持自定义词库,增量添加百万量级词库。
2、语义排歧:九眼智能过滤利用NLPIR语义精准分词系统与情感分析系统,精准识别与过滤,排除正面无害的信息,极大降低了误判率。
3、快速实时:九眼智能过滤使用专利算法,快速扫描,单机速度30MB/s;支持单机多线程、多机并行、Hadoop云服务模式,对PB级信息内容实现并行高效在线核查。
内容作为互联网应用或平台将来的发力方向,对各行各业都有至关重要的地位,引入更好的审核机制,从而建立健康的内容环境,在不良信息大行其道,甚至可能会成为竞品构陷自己的手段的今天已经是迫在眉睫,这也要求不良信息过滤技术需要更高的精度来满足其需求。以上就是九眼智能信息过滤:大数据技术推动产品升级的详细内容,更多请关注小潘博客其它相关文章!