搜索历史
热搜词
神经网络上无需训练的深度图像先验

推荐:深度学习之五:使用GPU加速神经网络的训练

[ 使用神经网络训练,一个最大的问题就是训练速度的问题,特别是对于深度学习而言,过多的参数会消耗很多的时间,在神经网络训练过程中,运算最多的是关于矩阵的运算,这

看新闻很累?看技术新闻更累?试试 下载InfoQ手机客户端 ,每天上下班路上听新闻,有趣还有料!

2017年,牛津和Skolkovo科技研究所的研究人员 详细介绍 了他们在“深度图像先验(deep-image priors)”方面的工作。直观上讲,深度图像先验以提供的抽样为基础,让一张有噪声或者失真的图像看起来和原来一样。但是,他们的工作更进一步,他们不需要参看原始图像,也不需要训练,就可以达到这个目的。

通过卷积图像生成器结构就可以获取大量的图像统计特性,而不是通过任何学习能力……(而且)……在这个网络中,没有哪一部分是从数据学习;相反,该网络的权重都是随机初始化的,因此,网络本身的结构里只有先验信息。

这项研究的重点是超分辨率、去噪、图像重建和修复。他们创建并证明了一个生成式神经网络,不需要提前训练,也不需要能够让他们渲染出原始图像的数据库。其结果与研究 论文 中提到的标准不相上下,而该标准是基于训练好的深度卷积神经网络或ConvNets。研究人员Ulyanov、Vedaldi、Lempitsky断言:

推荐:训练深度神经网络的必知技巧,你知道哪些?

[雷锋网按:本文作者章华燕,金桥智慧科技算法工程师,原文载于作者 个人博客 ,雷锋网 (公众号:雷锋网) 已获授权。 本文将主要介绍 8 种深度神经网络实现细节的技巧或tri

与任何学习相比,生成式神经网络的结构足以捕获大量的底层图像统计特性的先验知识……我们的研究显示,一个随机初始化的神经网络可以用作人造先验知识,并且在标准的逆问题中取得了不错的效果,如去噪、超分辨率、图像修复……(而且)填补了两类常用图像复原方法之间的空白:使用ConvNets以学习为基础的方法和基于人造图像先验知识(如自相似性)的免学习方法。

该团队使用Python的Torch库实现了生成式神经网络。他们开发了一些模块,专门处理由黑白相间或“电视噪声”、像素置乱、图像掩蔽等导致的图像噪声、失真、干涉。图像修复的过程就是删除图像“遮罩”的过程。遮罩是诸如图片库中的版权水印这样的东西,但是,通常的图象掩蔽演示都是用于示例代码中。PNG文件经过神经网络处理后输出的样例表明,神经网络成功识别并删除了类似这样覆盖在原始图像之上的东西。

网络本身会交替使用卷积、提升采样、非线性活化等过滤操作……网络结构的选择会对梯度下降法这样的方法搜索解空间产生很大的影响。特别地,我们的研究显示,网络会抵制“糟糕”的解决方案,向着看上去更自然的图像加速下降。

他们的发现挑战了ConvNets从数据中学习现实先验的能力推动了他们的成功的观点。该团队指出,他们的“瑞士军刀法”是计算密集型的,一张512x512像素的图像就需要几分钟GPU时间。 GitHub 上提供了Python代码,包括Jupyter Notebooks和样例数据。

查看英文原文: Deep Image Priors on Neural Networks With No Training

推荐:深度神经网络训练的必知技巧

[本文主要介绍8种实现细节的技巧或tricks:数据增广、图像预处理、网络初始化、训练过程中的技巧、激活函数的选择、不同正则化方法、来自于数据的洞察、集成多个深度网络的

主题:

分享:

相 关 推 荐

热 门 推 荐