天脉资讯
财经视野 科技数码 探索发现 教育学习 娱乐红人 时尚秘籍 动漫电影 游戏天地 星座解读 宠物小乖 营养美食 大燕公益 信息流

火山引擎大模型训练新突破,视频预处理方案助力豆包升级!

2024-10-15来源:天脉网编辑:瑞雪

近日,火山引擎在视频云技术的盛会上,正式揭晓了一项创新性的大模型训练视频预处理策略,该方案已率先融入豆包视频生成模型的实践之中。火山引擎总裁谭待强调,在AIGC与多模态技术的浪潮推动下,用户体验正迎来前所未有的变革。“依托抖音的深厚积累及与业界的紧密合作,火山引擎视频云正全力探索AI大模型与视频技术的深度融合路径,力求从技术支撑、处理流程到业务增长,全方位赋能企业。”谭待如是说。

预处理作为大模型训练不可或缺的一环,其重要性不言而喻。通过标准化视频数据格式、优化数据质量、精简数据量及高效处理标注信息,火山引擎的预处理方案能够显著提升模型学习视频特征的效率与质量,进而加快训练进程,提升模型性能。然而,这一过程对技术厂商而言,同样伴随着诸多挑战。

抖音集团视频技术领军人物王悦指出,面对超大规模的视频数据集,计算与处理成本飙升成为首要难题。同时,视频样本的多样性与复杂性、处理流程的繁琐以及异构算力资源的调度部署,均构成不容忽视的挑战。“火山引擎此番推出的预处理方案,正是针对这些痛点,借助Intel等领先硬件资源,依托自研的BMF多媒体处理框架,实现了算力成本的有效控制与高效利用。”

不仅如此,火山引擎还在算法与工程层面进行了深度优化,确保了海量视频数据能够快速、高质量地完成预处理,各环节之间实现了无缝衔接与高效协同。尤为火山引擎还同步推出了BMF lite版移动端后处理解决方案,该方案以其轻量、通用的特点,支持端侧大模型的快速接入与算子加速,进一步拓宽了应用场景。

另一方面,豆包视频生成模型PixelDance自发布以来,便凭借其独特的DiT架构与创新的扩散模型训练方法,在解决多主体运动交互、多镜头内容一致性等难题上展现出卓越能力。目前,该模型已通过火山引擎向企业用户开放邀测,预示着视频生成技术的又一重大突破。