半夜突发新闻,主播赶不及进行播报怎么办?视频录制到一半,主播突发身体不适怎么办?视频节目正当红,主播突然换人,影响到节目本身怎么办?
近日,相芯科技携手京东AI一起打造虚拟主播“京小蕾”“京小帅”,以高科技手段破解真人主播的现实“困境”,撬动传统媒体转型升级,助力媒体融合发展。
“京小蕾”“京小帅”是语音技术与形象技术的完美结合。它们的语音是利用了NeuHub京东人工智能开放平台的语音合成、语音识别和多轮对话能力,形象则是基于相芯科技的计算机图形学、语音识别和深度学习技术,对真人主播声音、唇形、表情动作等特征进行提取,进而实现虚拟主播像真人一样的实时播报能力。
“有了这一技术,不仅可以让主播24小时全天候、高质量地进行播报,还大大节省了视频制作时间,提升了视频制作效率。”谈及研发虚拟主播产品的初衷,相芯科技相关负责人介绍道,在媒体融合发展的过程中,许多优质内容常常因发布不及时,无法最先触达受众,从而使传统媒体在与新媒体的竞争中一度处于不利位置。
过去,要制作一段新闻播报视频,传统媒体需要搭建演播室,配备真人主播、多台摄像机,视频录制及编辑人员等,费时又费力。如今,有了这款产品,只需打开操作后台,输入一段文字或语音,就可实时生成相应的播报视频,并支持中、英双语播报,可谓方便又快捷,专业十足。
同时,该产品还具有强大的定制能力,包含形象和语音两部分。形象部分,由相芯科技通过自主研发的语音动画合成技术(STA:Speech To Animation)和美术定制能力,根据个人形象(照片)或者地方文化名人形象(画像),定制3D真人或卡通形象,满足不同场景需求。语音部分,由京东AI开放平台提供自然度、有感情、个性化的语音合成服务,及个性化语音库定制。这意味着,打造一个人美声甜、技能满分的虚拟主播IP,将指日可待。
此外,该产品还可支持真人实时驱动。通过摄像头捕捉真人面部表情、动作,智能检测人脸区域并标记特征点,不断对人脸特征和表情进行自适应,并同步至3D虚拟形象,从而实现实时驱动,并录制成相关视频。
“和相芯科技的合作是京东人工智能开放平台真诚开放,和合作伙伴共同落地AI技术的一个缩影。”京东AI相关负责人说,与相芯科技的合作,将进一步拓宽京东AI创新应用的边界,引发AI+产业的化学反应。
作为一家专注于智能图形技术创新与应用的高科技公司,相芯科技一直致力于好莱坞电影级特效技术在消费级应用中的普及,目前拥有增强现实视频SDK(AR Video SDK,包括表情识别/人脸AR滤镜和道具/视频美颜/视频分割/手势识别等)、虚拟化身创建服务PTA(Photo-to-Avatar,从一张照片生成虚拟形象、自主装扮虚拟形象及与虚拟形象互动等)、语音动画合成引擎STA(虚拟主播、虚拟客服、虚拟助手等)多款产品,覆盖了短视频、直播、社交、新零售、智能家居、广告、医疗、媒体等多个领域,已服务400余家客户。
此次,相芯科技与京东AI的合作,将助力虚拟主播触达更多行业、领域,不断升级这一技术、迭代这一产品,让科技红利惠及更多企业和个人。
据悉,在新闻资讯播报、广电虚拟演播室之外,虚拟主播还可适用于融媒体平台内容生产中心、新媒体、直播网站虚拟网红、智能客服虚拟形象升级等多种场景之中,致力于帮助更多媒体或企业增加人性化服务,提升内容制作效率。
目前,该技术已在NeuHub京东人工智能开放平台正式上线。