SkyAR

SkyAR

模型名称	SkyAR
类别	视频-视频编辑
网络	UNet
数据集	-
是否支持Fine-tuning	否
模型大小	206MB
指标	-
最新更新日期	2021-02-26

一、模型基本信息

• 应用效果展示

  • 样例结果示例：

    • 原始视频：

      

    • 木星：

      

    • 雨天：

      

    • 银河：

      

    • 第九区飞船：

      

    • 原始视频：

      

    • 漂浮城堡：

      

    • 电闪雷鸣：

      

    • 超级月亮：

      

• 模型介绍

  • SkyAR是一种用于视频中天空置换与协调的视觉方法，主要由三个核心组成：天空抠图网络、运动估计和图像融合。

  • 更多详情请参考：SkyAR

  • 参考论文：Zhengxia Zou. Castle in the Sky: Dynamic Sky Replacement and Harmonization in Videos. CoRR, abs/2010.118003, 2020.

二、安装

• 1、环境依赖

  • paddlepaddle >= 2.0.0

  • paddlehub >= 2.0.0

• 2、安装

  $hub install SkyAR

  • 如您安装时遇到问题，可参考：零基础windows安装 | 零基础Linux安装 | 零基础MacOS安装

三、模型API预测

• 1、预测代码示例

  import paddlehub as hub
  
  model = hub.Module(name='SkyAR')
  
  model.MagicSky(
      video_path="/PATH/TO/VIDEO",
      save_path="/PATH/TO/SAVE/RESULT"
  )

• 2、API

  def MagicSky(
          video_path, save_path, config='jupiter',
          is_rainy=False, preview_frames_num=0, is_video_sky=False, is_show=False,
          skybox_img=None, skybox_video=None, rain_cap_path=None,
          halo_effect=True, auto_light_matching=False,
          relighting_factor=0.8, recoloring_factor=0.5, skybox_center_crop=0.5
      )

  • 参数

    • video_path(str)：输入视频路径
    • save_path(str)：视频保存路径
    • config(str): 预设 SkyBox 配置，所有预设配置如下，如果使用自定义 SkyBox，请设置为 None：

    [
        'cloudy', 'district9ship', 'floatingcastle', 'galaxy', 'jupiter',
        'rainy', 'sunny', 'sunset', 'supermoon', 'thunderstorm'
    ]
    

    • skybox_img(str)：自定义的 SkyBox 图像路径
    • skybox_video(str)：自定义的 SkyBox 视频路径
    • is_video_sky(bool)：自定义 SkyBox 是否为视频
    • rain_cap_path(str)：自定义下雨效果视频路径
    • is_rainy(bool): 天空是否下雨
    • halo_effect(bool)：是否开启 halo effect
    • auto_light_matching(bool)：是否开启自动亮度匹配
    • relighting_factor(float): Relighting factor
    • recoloring_factor(float): Recoloring factor
    • skybox_center_crop(float)：SkyBox center crop factor
    • preview_frames_num(int)：设置预览帧数量，即只处理开头这几帧，设为 0，则为全部处理
    • is_show(bool)：是否图形化预览

四、更新历史

• 1.0.0

  初始发布