讨厌马赛克? 谷歌说你可以“修复”它

2024-01-04
来源:网络整理

1982年上映的科幻电影《银翼杀手》想象了一个充满赛博朋克科技的2024年:天空中布满了飞行汽车,人类可以使用大屏幕机器完成许多不可思议的任务。

当主人公瑞克·戴卡德追查复制人的行踪时,他利用它挖掘出了一些被肉眼忽视的线索。

瑞克把在现场找到的一张可疑照片塞了进去,一遍又一遍地放大照片的一角,没有丢失,终于在镜子的倒影中找到了机器人尤拉。

科幻作品的想象力有时会受到当时技术的限制。 1982年,个人电脑刚刚开始流行。 《银翼杀手》没有想象到互联网的出现改变了人类生活的方式,也没有想象到模拟技术有一天会被数字技术取代。

但其无损图像放大技术的想象非常超前,这仍然是一个很难解决的问题。

您可能也遇到过这样的情况:聚会结束后,朋友们一起拍了一张合影。 回去后,他们放大看老同学的脸,或者那天晚上喝的饮料的牌子,但看到的却是模糊的。 马赛克。

这是因为当我们将照片放大到一定程度时,局部分辨率已经很低,我们看到的都是由像素组成的图像。

是否有可能像我们30年前想象的那样,从微不足道的“马赛克”中提取额外的图像信息?

AI团队最近发表了一篇博客,提到了一种新的图像算法,该算法与《银翼杀手》的愿景非常接近。

令人难以置信的分辨率提升

▲ 64 x 64 皮卡丘

64 X 64 像素的照片有多大? 以一张12兆像素的照片作为模板,它的大小只有其千分之一左右。 当在高清屏幕上显示时,你只会看到完整的“马赛克”。

▲超高分辨率照片

在数字时代,我们在屏幕上看到的每个图像都是由密集的像素组成的。 单位面积上构成图像的像素越多,分辨率就越高,图像也相应越清晰。

AI研究人员在思考,是否有可能从低分辨率中提取出足够的图片信息,利用机器学习尽可能地还原图片的本来面貌,提高图片的分辨率,得到清晰的图片?

▲ 图片来自:

在他最近发表的博客中,他展示了自己的最新研究成果,从效果上来说非常令人震惊——通过两种不同的算法,64 X 64像素的照片可以恢复到1024 X 1024像素的分辨率,细节效果非常逼真。

需要指出的是,通过机器学习算法恢复的照片必然与原始照片存在一些偏差。 然而,当我们无法获得原始场景(比如过去的老照片)时,一张尽可能接近现实的“修复”照片确实很有价值。

▲ 图片来自:

据介绍,修复一张“马赛克”照片包括两个过程——“破坏”和“重组”。

首先,为了尽可能挖掘出“马赛克”像素方块的图形细节,研究人员会先使用高斯噪声算法对测试样本进行处理,得到完全由噪声点组成的“雪花图像” ,看起来有点像以前没有信号的模拟电视。 图片。

▲ 第三行是修复算法,第四行是原始参考图来自:

然后,研究人员利用神经网络算法逆向高斯噪声的破坏过程,并通过逆向恢复过程合成新的图像数据。 他们可以尽可能地减少纯噪声图像中的噪声,获得清晰的图像。

▲ 图片来自:

图像修复的原理并不复杂,但涉及的算法并不简单。 为了还原出高清大图像的“一对一还原”,工学院研究人员提出了超分辨率算法SR3和级联扩散模型CDM,通过大规模图像比对学习提高了精度的恢复。

值得一提的是,虽然我们一直用“马赛克”来指代低分辨率、大像素、低清晰度的图片,但这与实际经过编码的照片有本质的区别。

▲ 图片来自:

手机怎么去除图片马赛克_去除马赛克图片手机软件_去除马赛克图片手机软件下载

我们的复原算法之所以能够让低清晰度图像变得清晰,本质上是根据图像本身所包含的正确的图像信息,对庞大的数据库中的无数图像进行比较和匹配,最终得到模拟的近似像素填充。

当照片被打上马赛克后,图片中包含的图像信息就会发生变化。

简单来说,马赛克算法以固定的间隔随机选择一个区域内像素的颜色,然后对该区域内所有像素的颜色进行平均,用新的颜色填充方形网格。

编码后,原始像素信息全部丢失,得到的只是随机计算的误差信息。 这时,要求机器学习来恢复它,就像要求它对一道完全错误的题给出正确答案一样。 这几乎是不可能回答的。

所以如果有人想用算法来挖掘一些被删除的私人信息,就可以放弃这个想法了。

你已进入未来

▲ 图片来自:

高清复原算法很可能最终会应用到照片、视频等图像处理软件中,与HDR、透视校正等算法一样成为我们的图像编辑工具之一。

回到《银翼杀手》电影,它其实是一台非常有趣的机器。 它是模拟技术和数字技术的一种融合。

一方面,它非常先进,人们可以用语音控制它,并实现无损放大; 另一方面,它又很老式,有清晰的大屏幕但仍然是CRT结构,导入照片的过程仍然是从实物照片扫描。

根据电影的效果,在固定照片中的某个坐标后,可以通过精确的镜头结构(显微镜)对照片进行放大。 现在来看,无损放大的想法非常先进,但模拟技术显然不是现实未来的一部分。

对于现代人来说,手中的手机、电脑就是每个人的“”。

▲ 图片来自:

如今,照片已经完成了全数字化工作流程的演变,利用数字技术放大照片不再是难事。 也就是说,你实际上已经进入了《银翼杀手》中描述的“未来”。

去除马赛克图片手机软件下载_手机怎么去除图片马赛克_去除马赛克图片手机软件

▲ 图片来自:

图像超分辨率一直是计算机视觉领域的热门研究课题。 公司如。

以导入RAW格式图像后,可以选择“增强”功能的“超分辨率”功能。 软件会根据相似的内容参考丰富图像的纹理,并将图像的分辨率放大4倍。 整个过程大约需要一分钟。

▲ 图片来自:

从对比度增强前后的照片可以看出,分辨率提升后照片的清晰度得到了明显的提升,一些模糊、无法辨认的细节也变得清晰起来。

在今年3月发表的一篇技术博客中提到,其采用的超分辨率算法也经过了大量的机器学习训练,正在不断地改进和完善。

▲ 图片来自:

爆炸图像分辨率有什么意义吗? 也许拍完照片后,你不会放大它来研究每一个细节,但当你需要打印照片时,照片的分辨率直接决定了打印的最大尺寸。

这对于摄影师来说尤其重要。 有时用广角镜头拍摄风景时,会看到一只老鹰在天空中飞过。 使用广角镜头拍摄通常无法捕捉到鹰羽毛的细节。 在这种情况下,可以使用超分辨率进行放大,然后进行裁剪。 您可能会得到您想要的图片。

▲ 先裁剪,然后使用超像素放大,得到1000万像素照片。 图片来自:

博客以一张2.5兆像素的照片为例,利用超分辨率功能将其放大到1000万像素,这样就可以打印成一张“像样的”照片了。 该过程被描述为“数字变焦”。

比较 和 的算法,两者之间存在一些差异。 RAW的算法要求RAW格式的照片保留大量图像的原始信息用于计算,而RAW的算法可以根据一些非常粗略的信息来恢复照片。

▲ 通过大量机器学习不断改进算法的过程。 图片来自:

目前这两种算法还没有完全成熟,还需要大量的机器学习来提高计算还原的准确性。

但可以肯定的是,超分辨率技术将在不久的将来成为最流行的图像技术之一,帮助人们摆脱长焦镜头等设备的限制,记录生活的每一个细节和瞬间。 为了看到更清晰的世界,我们不断探索。

分享