视频可“边播边改”：京东开源自研 JoyAI-Video-Edit 模型引领行业新潮流

徽声在线 8 月 5 日最新报道，京东于今日正式对外宣布，将自研的实时流式视频编辑模型 JoyAI-Video-Edit 进行开源。这一创新举措意味着，用户在观看视频的过程中，能够同步对视频中的人物和场景进行修改，彻底颠覆了传统视频创作中“先筹备素材再编辑”的模式，开启了实时互动编辑的新纪元。

京东官方宣称，在流式实时视频编辑这一前沿领域，JoyAI-Video-Edit 相较于当前行业内的代表性模型，展现出了全方位的优势，各项关键指标均达到世界领先水平，为视频编辑行业树立了新的标杆。

视频实时编辑面临的首要挑战便是速度问题。视频是由一帧帧连续的画面构成，倘若模型的处理速度无法跟上视频的播放速度，就会出现卡顿、延迟等状况，严重影响用户体验。JoyAI-Video-Edit 基于全自研的 JoyAI-Video 模型，在技术上实现了重大突破，在 720P 分辨率下，能够达到每秒 30 帧的模型推理速度。这一速度不仅确保了视频画面的清晰度，还能完美跟上常见影视视频的播放节奏，让视频编辑如行云流水般顺畅。

视频长度也是流式编辑过程中难以跨越的一道障碍。以往的流式编辑模型大多只能处理几秒或者几分钟的短视频片段，极大地限制了创作的灵活性。而 JoyAI-Video-Edit 具备强大的能力，支持任意时长的稳定流式编辑。它能够随着视频的持续播放，实时进行处理。用户无需等待整段视频全部生成，就可以在播放过程中随心所欲地修改场景、替换物体、调整人物形象或者改变画面风格，真正实现了“边观看边创作”的梦想，为视频创作者提供了前所未有的便捷体验。

在实际应用场景中，JoyAI-Video-Edit 展现出了巨大的潜力。例如，创作者可以让视频中的人物连续变换不同的服装，营造出丰富多彩的视觉效果；在直播过程中，能够将普通的街道瞬间变成充满奇幻色彩的动画世界，吸引观众的眼球；在家装设计领域，用户可以尝试不同的家具搭配、墙面颜色和灯光效果，提前预览理想的家居环境，为装修决策提供有力参考。

为了科学、客观地评估模型的能力，研究团队精心挑选了 SANA Streaming、LiveEdit、Xmax - X2.0 等国际上具有代表性的流式视频编辑模型，与 JoyAI-Video-Edit 进行全面对比。对比结果显示，在覆盖典型视频编辑场景的评测数据中，JoyAI-Video-Edit 在各个方面都表现出色，整体效果全面领先，充分证明了其在视频编辑领域的卓越实力。

在业界权威的 OpenVE - Bench 通用评测中，JoyAI-Video-Edit 更是脱颖而出，超越了目前所有的流式编辑方法。在全局风格调整、局部替换、局部删除和字幕编辑等关键任务中，优势尤为显著，大幅领先于行业内的同类模型，进一步巩固了其在流式视频编辑领域的领先地位。

JoyAI-Video-Edit 的应用价值不仅局限于视频创作领域。它还为具身智能数据的大规模合成开辟了新的技术路径。在机器人训练过程中，需要大量的物体抓取、搬运与操作视频作为训练素材。然而，真机数据采集不仅成本高昂，而且对于一些危险或者少见的场景，难以进行反复采集。依托 JoyAI-Video-Edit 对场景、物体与画面内容的强大可控编辑能力，它可以将人手操作视频巧妙地转化为机械手或机械臂操作素材。在保留物体位置、空间关系与动作轨迹的基础上，灵活替换场景、物体与机器人形态，从而让一段视频能够扩展出更多的训练样本，为机器人训练提供了丰富、多样的数据支持，有力推动了具身智能技术的发展。

徽声在线附 JoyAI-Video-Edit 开源地址如下：