温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

如何压缩版styleGAN合成高保真图像

发布时间:2022-01-14 09:04:59 来源:亿速云 阅读:121 作者:iii 栏目:大数据

本篇内容介绍了“如何压缩版styleGAN合成高保真图像”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!

该实现所需的训练代码非常简单:    
pip install -r requirements.txtpython train.py --cfg configs/mobile_stylegan_ffhq.json --gpus <n_gpus

如何压缩版styleGAN合成高保真图像

StyleGAN2(左)与 MobileStyleGAN(右)的生成效果展示。    
 
下面我们来具体看一下 MobileStyleGAN 架构的方法细节。  

MobileStyleGAN 架构    
 
MobileStyleGAN 架构是在基于样式生成模型的基础上构建的,它包括映射网络和合成网络,前者采用的是 StyleGAN2 中的映射网络,该研究的重点是设计了一个计算高效的合成网络。    
 
MobileStyleGAN 与 StyleGAN2 的区别    
 
StyleGAN2 使用基于像素的图像表征,并旨在直接预测输出图像的像素值。而 MobileStyleGAN 使用基于频率的图像表征,旨在预测输出图像的离散小波变换 (DWT)。当应用到 2D 图像,DWT 将信道转换成四个大小相同的信道,这几个信道具有较低的空间分辨率和不同的频带。然后,逆向离散小波变换(IDWT) 从小波域重建基于像素的表征,如下图所示。    

如何压缩版styleGAN合成高保真图像

StyleGAN2 利用跳远生成器(skip-generator),通过对同一图像的多个分辨率的 RGB 值进行显式求和来形成输出图像。该研究发现,当在小波域中对图像进行预测时,基于跳远连接(skip connection)的预测头对生成图像的质量影响不大。因此,为了降低计算复杂度,该研究采用网络中最后一个块的单个预测头替换跳远生成器。但从中间块中预测目标图像对于稳定的图像合成具有重要意义。因此,该研究为每个中间块添加一个辅助预测头,根据目标图像的空间分辨率对其进行预测。  

 

如何压缩版styleGAN合成高保真图像

StyleGAN2 和 MobileStyleGAN 的预测头区别。    
 
如下图所示,调制卷积包括调制、卷积和归一化(左)。深度可分离调制卷积也包括这些部分(中)。StyleGAN2 描述了用于权重的调制 / 解调,该研究分别将它们应用于输入 / 输出激活,这使得描述深度可分离调制卷积更加容易。  

 

如何压缩版styleGAN合成高保真图像

 
StyleGAN2 构造块使用 ConvTranspose(下图左)来 upscale 输入特征映射。而该研究在 MobileStyleGAN 构造块(下图右)中使用 IDWT 当作 upscale 函数。由于 IDWT 不包含可训练参数,该研究在 IDWT 层之后增加了额外的深度可分离调制卷积。    

如何压缩版styleGAN合成高保真图像

StyleGAN2 和 MobileStyleGAN 的完整构造块结构如下图所示:  

 

如何压缩版styleGAN合成高保真图像

基于蒸馏的训练过程      

类似于此前的一些研究,该研究的训练框架也基于知识蒸馏技术。该研究将 StyleGAN2 作为教师网络,训练 MobileStyleGAN 来模仿 StyleGAN2 的功能,训练框架如下图所示。    

如何压缩版styleGAN合成高保真图像

“如何压缩版styleGAN合成高保真图像”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注亿速云网站,小编将为大家输出更多高质量的实用文章!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI