欢迎光临——2018全年免费资料_2019正版免费全年资料_2019全年资料大全正版

帮助中心 广告联系

2018全年免费资料_2019正版免费全年资料_2019全年资料大全正版

热门关键词:

而是杀青差别视频之间的人物举措神态转换

来源:未知 作者:admin 人气: 发布时间:2019-06-20
摘要:原题目:【超越CycleGAN】这个体体动态转移本领让憨包变舞王(视频)! 【新智元导读】伯克利的咨询职员提出了一种简略的举措转移法,可能将源视频中一个体的举措和神情,转移到新的视频对象上,让后者也具有同样贯通俊美的举措,所有历程只必要几分钟就成完

  原题目:【超越CycleGAN】这个体体动态转移本领让憨包变舞王(视频)!

  【新智元导读】伯克利的咨询职员提出了一种简略的“举措转移法”,可能将源视频中一个体的举措和神情,转移到新的视频对象上,让后者也具有同样贯通俊美的举措,所有历程只必要几分钟就成完结。论文地方。

  CycleGAN使用pixel2pixel本领,能自愿将某一类图片转换成其余一类图片,太甚线年最受闭怀的模子之一。CycleGAN论文的第一作家、加州大学伯克利分校的朱俊彦(现已正在MIT CSAIL承担博士后),也由此得回了SIGGRAPH 2018的优异博士论文奖。

  现正在,同样是伯克利的Caroline Chan、ShiryH Ginosar、Tinghui Zhou、Alexel A. Efros提出了或者更故意思的一篇论文,不单是图像,而是杀青分歧视频之间的人物举措神情转换,况且面部也能传神合成成效,所有历程只必要几分钟就能完结。

  本文提出一种简略的 “跟我做”(do as I do)的举措转移法子:给定一个体舞蹈的源视频,咱们可能正在目的人物献技程序举措几分钟后将该献技转移到一个新的目的身上(业余舞者)。

  咱们将这个题目视为一个具有时空光滑的每帧 image-to-image 转换题目。使用神情检测举动原和目的之间的中央透露,咱们练习了从神情图像到目的对象外观的照射。

  他们要杀青的主意很简略——给定两个视频:一个是目的人物,咱们思合成他的献技;另一个是源视频,咱们思将他的举措变化到目的人物身上。

  这与过去利用迩来邻探寻或 3D 重定向运动的法子分歧。正在伯克利咨询职员提出的框架下,他们筑制了各样各样的视频,让业余舞蹈喜欢者也许像芭蕾舞优伶相似挽救、跳跃,献技技击,舞蹈。

  最初,为了逐帧地正在两个视频的主体之间转移运动,咨询职员以为他们务必练习两个体的图像之间的照射。于是,目的是正在源集和目的集之间觉察图像到图像的翻译(image-to-image translation)。

  可是,他们并没有效两个实行对象对应的沟通举措来直接监视练习这种翻译。假使两个实行对象都做同样的举措,因为每个实行对象的体型和风致区别,仍旧不太恐怕有帧到帧的 body-pose 对应的准确框架。

  于是,他们侦查了基于人体神情闭头点(keypoint),闭头点性子上是编码身体的场所而不是外观,可能举动任何两个主体之间的中央透露。而神情可能跟着岁月的推移维系举措特色,同时尽恐怕地空洞出对象身份标识。于是,咱们将中央的透露策画为磷寸人自试图,如下图所示。

  将源视频中人物(左上)动态的神情闭头点(左下)举动转化,转移到目的视频人物(右)。

  从目的视频中,咱们取得每一帧的神情检测,取得一组(神情磷寸人,目的人物地步)的对应数据。有了这些对齐的数据,咱们就可能正在有监视的处境下,练习一种正在磷寸人和目的人物图像之间的 image-to-image 的转换模子。

  于是,的模子历程锻练,可能天生特定目的对象的性子化视频。然后,将举措从源转移到目的,将神情磷寸人图形输入到锻练模子中,取得与源神情沟通的目的对象的图像。

  这种法子天生的视频,可能正在各样视频主体之间转移运动,而无需高贵的 3D 或举措捉拿数据。

  作家正在论文中写道:“咱们的厉重进献是一个基于练习的视频之间人体运动转移的 pineline,所得结果的质地浮现了实际的具体视频中的杂乱运动转移。”!

  1、神情检测:按照源视频中给定的帧,利用预锻练好的神情检测器来筑制神情线?

  全体神情归一化:该阶段斟酌了源视频与目的视频中人物身形的分歧,以及正在各自视频中场所的区别;3?

  将归一化的神情线条图与目的人物实行照射:该阶段通过分裂性练习策画了一个人例,来将归一化的神情线条图与目的人物实行照射。

  模子按照源视频中给定的帧,利用预锻练好的神情检测器 P 来筑制神情线条图。正在锻练功夫,练习了一种照射 G 和一个分裂性鉴识器 D,来试图划分哪些成亲是真,哪些是假。

  模子利用一个神情检测器 P : Y′ → X′来获取源视频中人物的神情闭节,这些闭节通过归一化,转换为神情条形图中目的人物的闭节。然后,咱们利用锻练好的照射 G。

  为了杀青这一点,咨询职员将 pix2pixHD 的分裂性锻练创立删改为?

  法子是基于 pix2pixHD 中的目的提出来的。正在初始条款 GAN 创立中,天生器收集 G 对众标准鉴识器 D = (D1,D2,D3) 实行极大极小博弈。

  咱们增添了一个特意的 GAN 创立,用于为面部区域增添更众细节和确凿感,如下图所示。

  咱们研究了对 pix2pixHD baseline 的删改成效,并按照搜罗的数据集评估结果的质地。

  转移的结果。每个个别显示 5 个一口气的帧。上面一行显示 source subject,中央一行显示楷模化的 pose stick figures,下面一行显示目的人物的模子输出。

  从底子上说,举动输入的 pose stick figures 依赖于噪声神情忖度,这些忖度不会逐帧率领岁月消息。正在神情检测中丧失闭头点,闭头点场所不确切,会将过失引入到输入中,而且这些腐烂大凡会延续到结果中,固然咱们测验了通过岁月光滑创立来减轻这些节制。但假使咱们试图正在创立中注入岁月连贯性(temporal coherence),以及预光滑闭头点,结果每每仍旧会受到震颤的影响。

  固然咱们的全体神情归一化法子合理地调度了任何源对象的运动,使其与锻练中看到的目的人物的体型和场所相成亲,但这种简略缩放安详移处分计划并未斟酌分歧的肢长和摄像机场所或角度。这些区别也会导致正在锻练和测试时看到的运动之间存正在更大的差异。

  其余,2D 坐标和缺失检测节制了正在对象之间从头定位运动的形式,这些法子大凡正在 3D 中处事,必要有完满的闭节场所和岁月连贯运动。

  为领略决这些题目,必要正在岁月上连贯的视频天生和人体运动透露方面做更众的处事。固然合座上 pose stick figures 发作了令人信服的结果,但咱们期望正在来日的处事中,通过利用为运动转移极端优化的岁月连贯输入和透露来避免它所带来的节制。

  即使存正在这些寻事,但咱们的法子也许正在给出各样输入的处境下筑制吸引人的视频。

  难度被誉为最高的芭蕾舞黑天鹅48圈转,可能换上自身的脸,思思依然有些小促进呢。

责任编辑:admin

上一篇:让学生真正剖析学生人体的比例动态

下一篇:没有了

百度新闻独家出品

新闻由机器选取每5分钟自动更新

手机: 邮箱:
联系电话: 地址: