字节跳动AI实验室李磊:如何用算法帮助内容在不同语言里互通
据公司情报专家《财经涂鸦》消息, 7 月 11 日下午,在 2020 世界人工智能大会WAIC“《新一代中国人工智能》全景论文背后的故事及AI产业在中国的发展和世界的领导力”圆桌论坛中,参与撰写论文的七位作者讨论了论文的意义和背后的故事。
字节跳动人工智能实验室的总监李磊博士作为作者之一,分享了字节跳动AI实验室和他本人在人工智能方向最近的工作。
字节跳动AI实验室近期聚焦在几个方向,核心围绕如何利用人工智能技术为用户、创作者建设更好的内容创作平台和分发平台。李磊及其团队研究方向主要集中在机器学习、文本生成、机器翻译、鲁棒性的机器学习优化算法方面的研究。
李磊介绍,做机器学习和文本生成的目的是为作者提供更好的一些内容生成技术,帮助创作者创作更好内容,“比如我们最近刚刚发表的一篇论文。在ACL上我们阐述了从 2016 年开始研发的一个系统,智能写稿机器人小明BOT。它可以从数据出发,分析例如足球比赛这样的视频,通过文本生成的技术,生成一篇全方位的比赛报道,再利用文本摘要的技术,把它摘要成简短的文字,利用机器翻译成多种语言。最后我们通过语音合成技术把文本可以生成语音读出来。我们也通过AR的技术去生成一个虚拟的形象、虚拟的播音员,他可以带有表情、带有动作的把整个文章播报出来。”
机器翻译方面,李磊指出,他们希望通过技术去帮助内容在不同语言里的互通,其中有很多难点:内容产生的量非常大,而且用户在创作这些内容的时候,有些是比较正规的文章,有些是带有社交属性的语句,并不一定是完整的句子。
在机器翻译研究过程当中,李磊团队侧重的方向一个是多语言是否能够可以统一地来学习。比如可以研发一个统一的机器翻译模型,直接可以翻译五十甚至上百种模型,而不是像之前一样,每个语对之间必须研发一个单一的模型。
第二个方向是,能否通过一些非监督的方法研发出很好的翻译模型。这样可以用来帮助很稀有的语种之间做翻译,比如中文和印地语(平行语料非常少),团队要研究如何在很少的平行语料基础上,利用其他语种上的大量语料信息研发出比较好的翻译模型。另外还有多模态的翻译,要尝试利用上下文信息、图片信息、语音信息更好地做翻译。
另一个方向是最近比较火热的语音同传。例如在开会时,AI同传的目标是把演讲者中文直接实时地、无损地翻译成英文或者其他语言。
李磊表示,所有提到的文本生成和机器翻译内容背后依赖于快速的机器学习的训练算法,所以他的团队也非常关注自适应的优化算法,尤其是像深度学习这样里面涉及到的一些非凸的,非光滑的一些比较复杂的函数的优化。“我们最近也做了加速的二阶算法,以及自适应的优化算法,希望加速在深度网络里的训练和干预。”