8月22日,火山引擎视频云&AIGC大会以“视象新生”为主题,发布了自研的视频编解码芯片,并携手英伟达发布多媒体处理框架BMF(Babit Multi-Media Framework),与行业伙伴共同探讨视频技术的发展将如何助力不同行业实现业务创新与增长。
01.视频化时代,火山引擎奠定抖音“霸主”地位
根据QuestMobile的数据,截至2023年5月,中国移动视频行业的用户规模达到10.76亿人,月均观看时长为64.2小时。《中国网络视听发展研究报告(2023)》统计显示,短视频的人均单日使用时长已超过2.5小时。
仅仅几年的时间里,视频在中国迅猛发展,已经无处不在地融入了我们的生活和工作。从2018年起,用手机看抖音时,我们难以想象视频会如此迅速的发展。中国短视频用户数量在短短5年内从6.48亿增长至10.12亿。而到2022年,中国视频直播带货规模约为3.5万亿,占网上零售额的25.4%。
视频化的时代的到来催生了用户和平台对视频转型的需求,也带动了对视频云服务的需求。据艾瑞咨询的数据显示,到2024年,中国视频云服务的整体市场规模将达到924亿元。这是一个千亿级的市场,吸引了众多企业的加入,也加快了视频云的发展。而在其中,火山引擎视频云备受业内关注,它为实现"抖音现象"奠定了坚实基础。
作为字节跳动旗下的云服务平台,火山引擎最初主要为字节跳动内部产品提供服务。随着内部产品的覆盖范围扩大和影响力的增加,火山引擎的技术也日益成熟。近两年来,火山引擎的技术逐渐拓展到B端市场,惠及各行各业。
02.2022卡塔尔世界杯,火山引擎“出圈”异常亮眼
火山引擎在2022卡塔尔世界杯直播中可谓“圈钱又圈粉”。在本届世界杯直播中,抖音免费开放了超高清模式,并且完全没有片头广告,社交媒体上出现了许多对其“良心”、“靠谱”和“超高清”等的评价。因此,大批用户纷纷涌入抖音,在世界杯期间共计支持了106亿人次的直播观看,决赛的观看人数更是达到了2.3亿。
在比赛场上,当一记射门发生的那一瞬间,现场画面通过卫星传输至中国,抖音需要在瞬间对画面进行压缩和美化,并传输给数以亿计的设备,使其在手机上以720p、1080p或者4K的清晰度呈现出来。
这1秒钟内,如果采用4K50帧的画质,视频大小将接近50M,如果同时传输给数以亿计的用户,网络线路将无法承受。因此,抖音将视频进行编码压缩,将其控制在10M左右,并在用户手机上再进行解码,以避免被高峰流量冲垮网络。
在这1秒的时间内,工程师们需要将HDR信号转换为SDR,对画面上800万个像素的色彩、亮度和对比度进行优化,达到更好的观赏效果。
此外,他们还采用了自研的RTM直播技术,将直播的延迟降低到半秒,以确保所有用户能够同步观看比赛结果。
梅西的第1000场比赛进球,全中国抖音观看的用户同时为其喝彩,全民狂欢的背后离不开火山引擎的自研视频芯片。
03.台上一秒钟,台下十年功——火山引擎自研视频芯片
在火山引擎发布的自研视频芯片中,转码扮演着至关重要的角色。视频转码实质上是先解码再编码的过程,解码将压缩后的视频包重新还原为逐帧画面,而编码则将每帧画面重新压缩并打包,以便传输给不同终端的用户,以提供相同高清画质的视频。
火山引擎自研的视频编解码芯片在大会中发布,并经验证,在压缩效率方面超过了行业主流的硬件编码器,提升了30%以上。这种芯片可应用于视频点播、直播、图像压缩、XR等多个业务场景。相较于通用计算能力的CPU芯片,火山引擎的自研芯片只专注于视频编解码任务,从而在视频处理场景中具备更高的计算密度。因此,一台搭载火山引擎芯片的服务器在转码能力上相当于一百台搭载CPU的服务器。
简而言之,在4K/8K超高清、高帧率的场景中,相比软件编码,火山引擎的视频编解码芯片能够实现低延迟且高质量的转码,对于观众规模较小的中小型直播来说,可以节省大量的算力成本。对于用户而言,他们能够体验到更高质量的画面和更低的延迟。
此前,火山引擎在世界编码器大赛MSU中赢得了多个第一名,并达到了行业领先水平。而发布自研视频编解码芯片有望大幅提升4K超高清应用场景的编码速度,保证视频的高质量以及主客观质量,显著降低4K编码的计算成本,推动更广泛的4K应用普及化。
随着视频成为应用的标配,视频处理框架面临着越来越多样化和复杂化的场景和需求。这同时对计算性能和异构计算资源的运用提出了更多要求。为了满足这些要求,火山引擎与英伟达合作,共同推出了基于亿级DAU实践的下一代视频处理架构BMF,以帮助用户充分发挥各种能力和方案优势的互补和协同作用,并快速实现落地。
04.下一代视频处理架构——BMF
BMF框架提供了简洁易用的跨语言接口、灵活的调度和扩展性,可以以模块化的方式动态扩展、管理和复用视频处理的原子能力。用户可以通过构建高性能的多媒体处理链路,或者直接调用单独的处理能力来实现工程集成。这使得多媒体用户能够方便、高效地将项目落地于生产环境。
在业务落地的过程中,BMF框架经过充分打磨,拥有多样性、易用性、兼容性、稳定性和高性能。它可以支持从生产到消费的全链路视频场景,包括点播/直播转码、云编辑、移动端后处理等。尤其值得一提的是,它还支持大量视频AI应用,如视频增强、视频质量分析等。
NVIDIA英伟达亚太区开发与技术部门总经理李曦鹏表示,NVIDIA和火山引擎将致力于将BMF打造成下一代视频处理的基础平台。他们将继续与火山引擎合作,听取社区和用户的意见,在NVIDIA的最新软硬件平台上不断进行迭代,进一步完善BMF框架。
火山引擎也一直在探索AI与视频云的融合,通过大型模型实践积累,提出了一些创新的技术方案。例如,“极致超清”技术,基于人眼感知最佳为基准的AI前处理方案,通过降低播放码率实现整体带宽降低,单路流量可降低15-35%。这项技术适用于大型活动直播、电商直播等场景,提升了画质体验。另外还有“AI修复”技术,利用强大的AIGC大模型生成能力,对受损或老旧影片进行修复,全面提升画质。
BMF目前已经全面开源,包括整个BMF框架层的开源、9个开箱即用的示例案例和20多个API调用范例,帮助开发者以低成本构建视频应用。火山引擎视频云架构技术总监王悦表示,开源后,他们计划持续开源更多核心能力,完善解决方案,包括支持更多异构硬件、提供更多原子能力和移动端支持等。他们希望实现他们的愿景,加速全球的视频化进程,共建视频开发生态。
05.OFweek维科网·电子工程 总结
开放互联是火山引擎云服务的重要发展理念之一。通过更多人的参与,技术革新将加速推进,这将为未来的商业发展提供更大的想象空间。数字技术不仅是云计算的基石,也是未来社会生活场景的基石。
随着技术的飞速发展,物理世界与虚拟世界之间的界限不断被打破。从人工到智能,我们正面临着技术的巨大变革。在这一背景下,视频云不断升级具有重要的意义。它能够连接更多想要进入视频时代的伙伴,共同探索确定的未来。
在未来,视频云将继续发展,不断推动行业向前发展。通过开放、合作和共享的理念,我们能够共同探索和开拓一个更加繁荣、多样化的视频时代。