告别“挡脸”,虎牙AI弹幕背后的直播技术“硬实力”
来源:
作者:黑马良驹
时间:2018-11-11 16:25
[ SocialMouths导读 ]

现如今,大家在看电影、剧集、视频、游戏直播的时候,打开弹幕已经成为规定动作。

弹幕文化之所以受欢迎,是因为一个人在面对手机屏幕的时候,往往会有点孤独感。而弹幕恰恰给用户制造了一种社区氛围,一些好玩的弹幕除了带给我们脑洞大开的信息以外,还会给我们的观看行为带来娱乐性和互动性,产生一种伴随感。

但是,弹幕这东西有一个问题,就是弹幕如果太多,就会覆盖整个屏幕,造成满屏都是弹幕,甚至会影响了观看主体。最终变成这样的结果,越是热门的内容,弹幕会越多,造成了主播的脸都看不见,弹幕带给我们一种“喧宾夺主”的感觉。

大家看看下面这段视频,就知道弹幕有多凶悍了,满屏的弹幕把刘亦菲和吴亦凡的脸部都给挡住了。黑马哥由于有密集恐惧症,遇到弹幕轰炸的情况时,往往只能忍痛割爱把弹幕给关了。

 

不过,最近黑马哥在虎牙上看直播的时候,发现虎牙直播有一种“AI弹幕”的功能,恰恰能够解决上面的问题。用户在虎牙观看直播时,只需要在弹幕选择中设置好,弹幕就会地自动闪避人体,从主播的“身后”飘过。据悉该功能采用了AI人景分离技术等黑科技,这是直播行业首次采用相关技术。

这时候,一些经常看直播的老司机可能会说了,这种能绕着人走的弹幕,B站此前也推出过。黑马哥打开B站,确实发现B站有些视频也实现了弹幕不挡脸的功能。

比如,在B站上这条《金庸评论神雕侠侣》的视频,就采用了这种弹幕不挡脸的功能。但是,仔细对照这两个弹幕,又有所区别。比如,B站的这个弹幕,好像PS抠像一样,让主体悬浮在场景之上。而虎牙直播的弹幕,则是更加自然,弹幕既能够绕行,又没把场景全部覆盖住。

据分析,虎牙的人工智能弹幕跟B站的不挡脸弹幕,看着类似,但在技术层面有实质的区别:

一、与B站在已有视频上‘离线’(Offline)处理不同,虎牙是针对直播进行‘实时’处理。由于直播间主播的位置是移动的,对主播进行实时处理,难度更大,技术要求更高。

二、B站采用类似PS蒙版技术,人工为特定视频添加蒙版;虎牙采用人景分离技术,让人物与场景分离,让弹幕在人物之后,场景之前,所以画面会更加自然和生动。

三、AI智能弹幕与传统直播弹幕相比,几乎不增加带宽,而B站在视频点播中则需要大量的流量来支撑弹幕传输,大大降低了带宽成本。

 

怎么样?虎牙的AI智能弹幕黑科技,是不是让人眼前一亮。在黑马哥看来,在众多直播平台中,虎牙是以技术和创新见长的。除了AI智能弹幕以外,几年来虎牙在直播黑科技方面不断攻关,以下几个方面实现了突破和创新:

一、观看体验方面:2014年,虎牙推出1080P高清码率直播服务;2016年,启用HTML5直播技术,让用户可以享受到秒开的畅快体验;2017年,与英特尔达成战略合作,推出蓝光画质;2018年,虎牙率先推出20M蓝光,成为游戏直播平台最高传输码流。

二、AI智能识别方面:2018年8月,6.0版本更新,实现了AI智能识别,在唱歌、跳舞内容中,提供热舞中、唱歌中标签,吃鸡类游戏(刺激战场、绝地求生、堡垒之夜等)提供击杀实时数量标签,方便用户识别,避免错过精彩内容。

谈到AI识别技术,这里要多说两句。虎牙AI识别技术领先的地方,通过人工智能的深度学习技术,实现了两大技术革新——实时识别+精准识别。实时识别领域,单品类每秒可以做到100+内容识别,同步实现场景识别(跳舞),语音识别(唱歌),视频结构化分析(吃鸡游戏游戏)等多项黑科技,保证延迟控制在5秒以内的行业领先水平。精准识别可以达到95%以上识别率,远超直播行业水平。

三、“弹幕操控游戏”: 2018年6月,虎牙直播联合腾讯WeGame,将观众弹幕互动式直播首次引入国内。“弹幕操控游戏”顾名思义就是在直播时候“依靠弹幕操控游戏进程和走向”。新模式游戏人物的走向、技能施放要依靠玩家在直播间的弹幕来决定,弹幕信息指令相同的数量最高才能指使人物操作,是让玩家很有参与感的弹幕游戏。

四、VR全景直播:2017年5月,用户通过Insta360 VR全景相机可率先在虎牙直播平台轻松实现沉浸式VR全景直播。360度全景功能带来的现场感和互动效果的提升无疑会直接刺激虎牙直播平台上所有主播自产内容的积极性。

五、AI智能弹幕识别:融合AI技术,弹幕智能识别主播,“绕路而行”以免弹幕覆盖主播影响观看体验。

在黑马哥看来,移动直播的发展大致分为三个阶段:

一、流量为王。在移动直播最为红火的2015、2016年,网红和娱乐直播的概念热的发烫,映客、花椒等直播平台,在资本的助推之下,不断地跑马圈地,甚至不惜花大价钱邀请明星入驻直播平台,烧钱和流量为王,成为当时的代名词。谁能请来流量明星,谁就能够获得最大的关注度。

二、内容为王。随着大家对秀场直播的审美疲劳,网红直播慢慢退潮。像虎牙等一些专注游戏直播的平台,反而依靠垂直和细分内容取胜,获得用户的持续关注度。2018年5月11日,虎牙直播成功在纽约证券交易所挂牌交易,成为游戏直播第一股。

三、技术为王。随着直播行业的竞争越来越激励,在内容和运营层面,已经没有什么门槛可言,直播技术成为直播平台的核心竞争力。随着VR技术、AR技术、人工智能等技术在直播中的应用,直播平台之间的竞争,很大程度也成为技术的竞争和角力。

在黑马哥看来,随着游戏直播进入下半场,创新性地推出AI弹幕的虎牙直播,凭借其多项直播黑科技,在技术层面已经跟竞争对手拉开身位。这也让虎牙在“技术为王”时代,占据先机,成为未来最具竞争力的游戏直播平台。