奇异值的物理意义

news2024/2/27 15:59:26

知乎上的解释特别好,非常佩服,在此转载一下,做个笔记

原文:https://www.zhihu.com/question/22237507/answer/28007137

奇异值作用:图片压缩,去燥,模糊等等

矩阵的奇异值是一个数学意义上的概念,一般是由奇异值分解(Singular Value Decomposition,简称SVD分解)得到。如果要问奇异值表示什么物理意义,那么就必须考虑在不同的实际工程应用中奇异值所对应的含义。下面先尽量避开严格的数学符号推导,直观的从一张图片出发,让我们来看看奇异值代表什么意义。

这是女神上野树里(Ueno Juri)的一张照片,像素为高度450*宽度333。暂停舔屏先(痴汉脸
<img src="https://pic2.zhimg.com/50/7aba604694157b53ab901ee4908312cd_hd.jpg" data-rawwidth="498" data-rawheight="536" class="origin_image zh-lightbox-thumb" width="498" data-original="https://pic2.zhimg.com/7aba604694157b53ab901ee4908312cd_r.jpg">我们都知道,图片实际上对应着一个矩阵,矩阵的大小就是像素大小,比如这张图对应的矩阵阶数就是450*333,矩阵上每个元素的数值对应着像素值。我们记这个像素矩阵为

我们都知道,图片实际上对应着一个矩阵,矩阵的大小就是像素大小,比如这张图对应的矩阵阶数就是450*333,矩阵上每个元素的数值对应着像素值。我们记这个像素矩阵为A

现在我们对矩阵A进行奇异值分解。直观上,奇异值分解将矩阵分解成若干个秩一矩阵之和,用公式表示就是:
(1) \quad\quad \qquad A = \sigma_1 u_1v_1^{\rm T}+\sigma_2 u_2v_2^{\rm T}+...+\sigma_r u_rv_r^{\rm T}
其中等式右边每一项前的系数\sigma就是奇异值,uv分别表示列向量,秩一矩阵的意思是矩阵秩为1。注意到每一项uv^{\rm T}都是秩为1的矩阵。我们假定奇异值满足\sigma_1\geq\sigma_2\geq...\geq\sigma_r>0(奇异值大于0是个重要的性质,但这里先别在意),如果不满足的话重新排列顺序即可,这无非是编号顺序的问题。

既然奇异值有从大到小排列的顺序,我们自然要问,如果只保留大的奇异值,舍去较小的奇异值,这样(1)式里的等式自然不再成立,那会得到怎样的矩阵——也就是图像?

A_1=\sigma_1 u_1v_1^{\rm T},这只保留(1)中等式右边第一项,然后作图:
<img src="https://pic2.zhimg.com/50/ba727031b6fe9449ad3d67caeecf9795_hd.jpg" data-rawwidth="498" data-rawheight="536" class="origin_image zh-lightbox-thumb" width="498" data-original="https://pic2.zhimg.com/ba727031b6fe9449ad3d67caeecf9795_r.jpg">结果就是完全看不清是啥……我们试着多增加几项进来: 结果就是完全看不清是啥……我们试着多增加几项进来: A_5=\sigma_1 u_1v_1^{\rm T}+\sigma_2 u_2v_2^{\rm T}+\sigma_3 u_3v_3^{\rm T}+\sigma_4 u_4v_4^{\rm T}+\sigma_5 u_5v_5^{\rm T},再作图
<img src="https://pic1.zhimg.com/50/26af24cb31adec4d4e16939798fe4f18_hd.jpg" data-rawwidth="498" data-rawheight="536" class="origin_image zh-lightbox-thumb" width="498" data-original="https://pic1.zhimg.com/26af24cb31adec4d4e16939798fe4f18_r.jpg">隐约可以辨别这是短发伽椰子的脸……但还是很模糊,毕竟我们只取了5个奇异值而已。下面我们取20个奇异值试试,也就是(1)式等式右边取前20项构成 隐约可以辨别这是短发伽椰子的脸……但还是很模糊,毕竟我们只取了5个奇异值而已。下面我们取20个奇异值试试,也就是(1)式等式右边取前20项构成 A_{20}
<img src="https://pic2.zhimg.com/50/7f70625c040ddfc9ed2681365c37c8e5_hd.jpg" data-rawwidth="498" data-rawheight="536" class="origin_image zh-lightbox-thumb" width="498" data-original="https://pic2.zhimg.com/7f70625c040ddfc9ed2681365c37c8e5_r.jpg">虽然还有些马赛克般的模糊,但我们总算能辨别出这是Juri酱的脸。当我们取到(1)式等式右边前50项时: 虽然还有些马赛克般的模糊,但我们总算能辨别出这是Juri酱的脸。当我们取到(1)式等式右边前50项时:
<img src="https://pic2.zhimg.com/50/15eecd833bd9c0c6d5a4d33c044f5945_hd.jpg" data-rawwidth="498" data-rawheight="536" class="origin_image zh-lightbox-thumb" width="498" data-original="https://pic2.zhimg.com/15eecd833bd9c0c6d5a4d33c044f5945_r.jpg">我们得到和原图差别不大的图像。也就是说当

我们得到和原图差别不大的图像。也就是说当k从1不断增大时,A_k不断的逼近A。让我们回到公式
(1) \quad\quad \qquad A = \sigma_1 u_1v_1^{\rm T}+\sigma_2 u_2v_2^{\rm T}+...+\sigma_r u_rv_r^{\rm T}
矩阵A表示一个450*333的矩阵,需要保存450\times 333=149850个元素的值。等式右边uv分别是450*1和333*1的向量,每一项有1+450+333=784个元素。如果我们要存储很多高清的图片,而又受限于存储空间的限制,在尽可能保证图像可被识别的精度的前提下,我们可以保留奇异值较大的若干项,舍去奇异值较小的项即可。例如在上面的例子中,如果我们只保留奇异值分解的前50项,则需要存储的元素为784\times50=39200,和存储原始矩阵A相比,存储量仅为后者的26%。

下面可以回答题主的问题:奇异值往往对应着矩阵中隐含的重要信息,且重要性和奇异值大小正相关。每个矩阵A都可以表示为一系列秩为1的“小矩阵”之和,而奇异值则衡量了这些“小矩阵”对于A的权重。

在图像处理领域,奇异值不仅可以应用在数据压缩上,还可以对图像去噪。如果一副图像包含噪声,我们有理由相信那些较小的奇异值就是由于噪声引起的。当我们强行令这些较小的奇异值为0时,就可以去除图片中的噪声。如下是一张25*15的图像(本例来源于[1])
<img src="https://pic4.zhimg.com/50/39f209faded179e3ba45b9304d137b77_hd.jpg" data-rawwidth="150" data-rawheight="250" class="content_image" width="150">但往往我们只能得到如下带有噪声的图像(和无噪声图像相比,下图的部分白格子中带有灰色): 但往往我们只能得到如下带有噪声的图像(和无噪声图像相比,下图的部分白格子中带有灰色):
<img src="https://pic1.zhimg.com/50/154413815249e578abad23acaf6dfe98_hd.jpg" data-rawwidth="150" data-rawheight="250" class="content_image" width="150">通过奇异值分解,我们发现矩阵的奇异值从大到小分别为:14.15,4.67,3.00,0.21,……,0.05。除了前3个奇异值较大以外,其余奇异值相比之下都很小。强行令这些小奇异值为0,然后只用前3个奇异值构造新的矩阵,得到 通过奇异值分解,我们发现矩阵的奇异值从大到小分别为:14.15,4.67,3.00,0.21,……,0.05。除了前3个奇异值较大以外,其余奇异值相比之下都很小。强行令这些小奇异值为0,然后只用前3个奇异值构造新的矩阵,得到
<img src="https://pic3.zhimg.com/50/1df92ac5dc018d63b14c30ae92eff222_hd.jpg" data-rawwidth="150" data-rawheight="250" class="content_image" width="150">可以明显看出噪声减少了(白格子上灰白相间的图案减少了)。

可以明显看出噪声减少了(白格子上灰白相间的图案减少了)。

奇异值分解还广泛的用于主成分分析(Principle Component Analysis,简称PCA)和推荐系统(如Netflex的电影推荐系统)等。在这些应用领域,奇异值也有相应的意义。

考虑题主在问题描述中的叙述:“把m*n矩阵看作从m维空间到n维空间的一个线性映射,是否:各奇异向量就是坐标轴,奇异值就是对应坐标的系数?”我猜测,题主更想知道的是奇异值在数学上的几何含义,而非应用中的物理意义。下面简单介绍一下奇异值的几何含义,主要参考文献是美国数学协会网站上的文章[1]。

下面的讨论需要一点点线性代数的知识。线性代数中最让人印象深刻的一点是,要将 矩阵和空间中的 线性变换视为同样的事物。比如 对角矩阵 M作用在任何一个向量上
\begin{bmatrix}3 & 0 \\0 & 1\end{bmatrix}\begin{bmatrix}x \\y\end{bmatrix}=\begin{bmatrix}3x \\y\end{bmatrix}
其几何意义为在水平 x方向上拉伸3倍, y方向保持不变的线性变换。换言之 对角矩阵起到作用是将水平垂直网格作水平拉伸(或者反射后水平拉伸)的线性变换。
<img src="https://pic2.zhimg.com/50/012f667312babcd48d6548740b263645_hd.jpg" data-rawwidth="252" data-rawheight="252" class="content_image" width="252"> <img src="https://pic1.zhimg.com/50/83c8636e531a0df1795db6ca4f4f3758_hd.jpg" data-rawwidth="252" data-rawheight="252" class="content_image" width="252">如果 如果 M不是对角矩阵,而是一个 对称矩阵
M=\begin{bmatrix}2 & 1 \\1 & 2\end{bmatrix}
那么, 我们也总可以找到一组网格线,使得矩阵作用在该网格上仅仅表现为(反射)拉伸变换,而没有旋转变换
<img src="https://pic2.zhimg.com/50/8acc7767cfbb297043a13b2e8f2e9329_hd.jpg" data-rawwidth="252" data-rawheight="252" class="content_image" width="252"> <img src="https://pic1.zhimg.com/50/3f9674bd72eaa879f353a0d368033824_hd.jpg" data-rawwidth="252" data-rawheight="252" class="content_image" width="252">考虑更一般的 考虑更一般的 非对称矩阵
M=\begin{bmatrix}1 & 1 \\0 & 1\end{bmatrix}
很遗憾,此时我们再也找不到一组网格,使得矩阵作用在该网格上之后只有拉伸变换(找不到背后的数学原因是对一般非对称矩阵无法保证在实数域上可对角化,不明白也不要在意)。我们退求其次,找一组网格,使得矩阵作用在该网格上之后允许有 拉伸变换旋转变换,但要保证变换后的网格依旧互相垂直。这是可以做到的
<img src="https://pic2.zhimg.com/50/356babf4c08d6c0fefc05195ab5da6c1_hd.jpg" data-rawwidth="252" data-rawheight="252" class="content_image" width="252"> <img src="https://pic1.zhimg.com/50/73a69c76a7de9ec012f0ad0240cad6b8_hd.jpg" data-rawwidth="252" data-rawheight="252" class="content_image" width="252">下面我们就可以自然过渡到奇异值分解的引入。 下面我们就可以自然过渡到奇异值分解的引入。 奇异值分解的几何含义为:对于任何的一个矩阵,我们要找到一组两两正交单位向量序列,使得矩阵作用在此向量序列上后得到新的向量序列保持两两正交。下面我们要说明的是, 奇异值的几何含义为:这组变换后的新的向量序列的长度。
<img src="https://pic4.zhimg.com/50/b62ae777cc9c9234702f61989e59aedf_hd.jpg" data-rawwidth="252" data-rawheight="252" class="content_image" width="252"> <img src="https://pic4.zhimg.com/50/df96a8b5c3b45c90924d4f11b007ca47_hd.jpg" data-rawwidth="252" data-rawheight="252" class="content_image" width="252">当矩阵

当矩阵M作用在正交单位向量v_1v_2上之后,得到Mv_1Mv_2也是正交的。令u_1u_2分别是Mv_1Mv_2方向上的单位向量,即Mv_1=\sigma_1 u_1Mv_2=\sigma_2 u_2,写在一起就是M\left[ v_1\quad  v_2 \right]=\left[ \sigma_1u_1\quad  \sigma_2u_2 \right],整理得:

M=M\left[ v_1\quad  v_2 \right]\begin{bmatrix}v_1^{\rm T} \\v_2^{\rm T}\end{bmatrix}=\left[ \sigma_1u_1\quad  \sigma_2u_2 \right]\begin{bmatrix}v_1^{\rm T} \\v_2^{\rm T}\end{bmatrix}=\left[ u_1\quad  u_2 \right]\begin{bmatrix}\sigma_1 & 0 \\0 & \sigma_2\end{bmatrix}\begin{bmatrix}v_1^{\rm T} \\v_2^{\rm T}\end{bmatrix}

这样就得到矩阵M的奇异值分解。奇异值\sigma_1\sigma_2分别是Mv_1Mv_2的长度。很容易可以把结论推广到一般n维情形。

下面给出一个更简洁更直观的奇异值的几何意义(参见[2])。先来一段线性代数的推导,不想看也可以略过,直接看黑体字几何意义部分:

假设矩阵A的奇异值分解为
A=\left[ u_1\quad u_2 \right]\begin{bmatrix}3 & 0 \\0 & 1\end{bmatrix}\begin{bmatrix}v_1^{\rm T} \\v_2^{\rm T}\end{bmatrix}
其中u_1,~u_2,~v_1,~v_2是二维平面的向量。根据奇异值分解的性质,u_1,~u_2线性无关,v_1,~v_2线性无关。那么对二维平面上任意的向量x,都可以表示为:x=\xi_1 v_1+\xi_2 v_2

A作用在x上时,
y=Ax=A[v_1\quad v_2]\begin{bmatrix}\xi_1 \\\xi_2\end{bmatrix}=\left[ u_1\quad u_2 \right]\begin{bmatrix}3 & 0 \\0 & 1\end{bmatrix}\begin{bmatrix}v_1^{\rm T} \\v_2^{\rm T}\end{bmatrix}[v_1\quad v_2]\begin{bmatrix}\xi_1 \\\xi_2\end{bmatrix}=3\xi_1u_1+\xi_2u_2

\eta_1=3\xi_1,~\eta_2=\xi_2,我们可以得出结论:如果x是在单位圆\xi_1^2+\xi_2^2=1上,那么y正好在椭圆\eta_1^2/3^2+\eta_2^2/1^2=1上。这表明:矩阵A将二维平面中单位圆变换成椭圆,而两个奇异值正好是椭圆的两个半轴长,长轴所在的直线是{\rm span}\{u_1\},短轴所在的直线是{\rm span}\{u_2\}.

推广到一般情形:一般矩阵A将单位球\|x\|_2=1变换为超椭球面E_m=\{y\in {\bf C}^m:~y=Ax,~x\in{\bf C}^n,~\|x\|_2=1\},那么矩阵A的每个奇异值恰好就是超椭球的每条半轴长度

<img src="https://pic4.zhimg.com/50/34ca30b59f8f462f4aa552f807d2e867_hd.jpg" data-rawwidth="494" data-rawheight="232" class="origin_image zh-lightbox-thumb" width="494" data-original="https://pic4.zhimg.com/34ca30b59f8f462f4aa552f807d2e867_r.jpg">


参考文献:
[1] We Recommend a Singular Value Decomposition( Feature Column from the AMS
[2] 徐树方,《矩阵计算的理论与方法》,北京大学出版社。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.dtcms.cn/news/show-326065.html

如若内容造成侵权/违法违规/事实不符,请联系七分地网进行投诉反馈,一经查实,立即删除!

相关文章

mabatisplus怎么给实体类自定义属性_如果你的角色属性可以自定义,你会怎么点?...

如今越来越多的人抱怨小时候学的一些特长,长大之后根本没什么用处,比如乐器、绘画等等。反而是一些实用的比如烹饪和动手能力更受到大家的欢迎。阿庆想说的是,你肯定是没有坚持,到最后自然只能像方仲永一样“泯然众人矣”了。在游…

selector多路复用_超详细的I/O多路复用概念、常用I/O模型、系统调用等介绍

概述当我们要编写一个echo服务器程序的时候,需要对用户从标准输入键入的交互命令做出响应。在这种情况下,服务器必须响应两个相互独立的I/O事件:1)网络客户端发起网络连接请求,2)用户在键盘上键入命令行。我们先等待哪个事件呢&am…

余弦计算相似度度量

目录 pytorch 余弦相似度, 余弦计算相似度度量 pytorch 余弦相似度, 余弦相似度1到-1之间,1代表正相关,0代表不相关,-1代表负相关 def l2_norm(input, axis1):norm torch.norm(input, 2, axis, True)output torc…

程序员表白简短html代码,【杂谈】2018浪漫七夕:7款程序员必备表白源码(超炫酷)...

2018七夕将要来临,ki4网给大家准备了七款程序员表白专用源码,让你可以一举俘获美人心,下面就来看一看这七款表白代码大全,包含html、html5、CSS、JQ编写的一些非常简单实用的表白代码,非常炫酷、浪漫!1、CS…

哪种css实现方式优势更突出_【第十三课】更合理的CSS结构

前言从零开始学前端系列课程,与传统的视频大课堂教学不同,没有填鸭;也普通做练习题的方式不同,没有假想的模拟题。 本课程拆出80个左右必须掌握的技能点,并对其分组,从易到难地列出学习曲线。同时从真实项目…

TF-IDF与余弦相似性的应用

原文:http://www.ruanyifeng.com/blog/2013/03/tf-idf.html TF-IDF与余弦相似性的应用(一):自动提取关键词 这个标题看上去好像很复杂,其实我要谈的是一个很简单的问题。 有一篇很长的文章,我要用计算机提取…

webloigc12服务启动不了_一键启动知多少!

一键启动(自动挡车型)相比对手动挡的钥匙启动高大上不会出现膝盖被钥匙磕到的情况也不会出现钥匙孔边上有划痕的现象但是一键启动开关启动的顺序是什么?是长按至启动还是通电后再启动?一键启动常见问题答疑■ 问:一键启动车辆是如何启动的&a…

机器学习算法之决策树

原文:http://www.jianshu.com/p/6eecdeee5012 决策树是一种简单高效并且具有强解释性的模型,广泛应用于数据分析领域。其本质是一颗由多个判断节点组成的树,如: 决策树在使用模型进行预测时,根据输入参数依次在各个判断…

组件三层_Angular 练级之旅(8)-Zorro Select组件的实现和进阶

很久没写相关的文章,正好前两天把抄来的Select组件重写了一下,简化了一些逻辑。先看下zorro 中select组件的一个目录结构zorro将select组件分成了 三大块Input / 选择框下拉列表连接以上2层的控制器层先看 我们使用的 nz-select 内部的模板到底是什么样的…

目标检测 RCNN算法详解

原文:http://blog.csdn.net/shenxiaolu1984/article/details/51066975 【目标检测】RCNN算法详解 Girshick, Ross, et al. “Rich feature hierarchies for accurate object detection and semantic segmentation.” Proceedings of the IEEE conference on comput…

燕赵志愿云如何认证_如何获得云安全专家CCSP认证

关注↑↑↑我们获得更多精彩内容!千呼万唤始出来,云安全专家CCSP认证正式上线,全文皆重点,请仔细查看。CCSP云安全专家认证是什么?两家国际顶尖的安全组织,云安全联盟Cloud Security Alliance与 (ISC),在20…

替代方法_ASD干预:替代行为的正确使用方法和注意事项

在我们的日常干预中,孤独症的儿童的行为问题一直是我们干预的一个重点,和普通的儿童不一样,自闭症孩子由于其认知和社交方面的障碍,都会采取很多的"不恰当行为"来表达自己的不满和需求,比如尖叫,…

长沙医学院计算机系怎么样,长沙医学院有哪些专业及什么专业好

本文讲述了长沙医学院最新的专业介绍,主要包含长沙医学院有哪些专业及每个专业的收费标准、长沙医学院都有什么专业比较好等,更多信息请访问大学高考。本文目录:长沙医学院什么专业好长沙医学院比较好的专业有:临床医学、中医学、…

goahead如何使用cgi服务_北斗导航系统现已提供全球服务!你知道如何使用这个服务吗?...

在11月份的时候,我国传来了一个好消息,北斗导航全球组网成功!这意味着我国23年的努力没有白费,取得了圆满的成功。此项研究成果也迅速让中国的国际地位提高,很多国家都想和我们谈生意,一起参加北斗导航系统…

fullcalendar 显示的时间间隔只有四十五分钟_Linux命令行监控程序,还能实时高亮显示差异,我就选它了...

引言watch用于定期运行任意命令,并在终端窗口上显示该命令的输出。当你必须重复执行命令并观察命令输出随时间变化时,它非常有用。例如,可以使用watch命令来监视系统正常运行时间或磁盘使用情况。watch程序是procps(或procps-ng)软件包的一部…

计算机快速看图教程,CAD快速看图使用电脑版软件操作教程

下面给大家介绍一个非常好用的操作方法,能够解决大家在CAD快速看图、编辑与修改、格式转换、版本转换等问题。拿到图纸都能够打开浏览,转换成可以转换的文件格式,发送给客户都可以。1我们可以上网搜索,CAD快速看图或CAD编辑器&…

计算机考试不用输入扩展名吗,本周末的 计算机等级考试,如果不想考0分,一定要花2分钟看完...

原标题:本周末的 计算机等级考试,如果不想考0分,一定要花2分钟看完嗨喽~下午好!我是超甜的小虎泰戈尔的爱情诗《世上最远的距离》里有一段“世上最远的距离不是生与死的距离,而是我站在你面前你不知道我爱你。”现在对…

win7计算机睡眠怎么设置方法,win7系统更改(设置)计算机睡眠时间的操作方法...

很多小伙伴都遇到过对win7系统更改(设置)计算机睡眠时间进行设置的困惑吧,一些朋友看过网上对win7系统更改(设置)计算机睡眠时间设置的零散处理方法,并没有完完全全明白win7系统更改(设置)计算机睡眠时间是如何设置的,今天小编准备了简单的操…

删除表格数据后自动刷新_Calliope: 表格数据的自动故事生成系统

视觉数据故事以叙事可视化的形式呈现,如海报或数据视频,通常用于面向数据的故事讲述中,以促进对故事内容的理解和记忆。虽然有用,但技术障碍(如数据分析、可视化和脚本)使可视化数据故事的生成变得困难。现有的创作工具依赖于用户…

乌鲁木齐计算机老师待遇,如果月薪超过10000元,安排去新疆当教学教师,愿意吗?...

小编注意到,社会上对于教师工资有一种误会,他们会认为只要是教师,现在的工资起码有5000以上。这个5000的月薪他们还觉得是到手的工资,还没算五险一金。因为他们不相信,教师的到手工资其实比打工者还低,小编…