- 矩阵的看法 解方程出发回答了一些。第二点从线性空间回答了一些。 矩阵解线性方程和消元法是一样的,都是线性变换。可以让我们把问题映射到更适合分析(通常也是更高维)的空间。
矩阵在我意向的研究方向(机器学习)中的应用和优势 矩阵运算的时间复杂度的优势,同时也指出在机器学习中通过使用矩阵来分析问题,往往会让人更倾向于从整体、宏观角度来把握问题,有时会得到很有意思的结论。 应用方面其实和优势是有些重叠的,我补充说明了线性代数中很多方法可以直接套用在机器学习中,例如我们可以直接用SVD进行PCA、降维;同时矩阵本身意味着线性变换, 可以让我们把问题映射到更适合分析(通常也是更高维)的空间。
既然处理机器学习的问题的时候经常要把问题映射到更高维的空间,怎么又要进行降维,这不是自相矛盾吗? 分的二类在线性空间或者较低维度的空间不可分,因此需要映射到高维空间进行分类。接着我指出高维空间同样有自己的弊端, 例如计算量的增加以及“curse of dimensionality”即“维度灾难”等问题,但我们有一些技巧,例如核方法即“kernel trick”,使得我们可以用较少的数据和计算量来处理高维问题。 之后我说明,降维一般适用于完全不同的情况,即需要进行特征提取或者需要对数据进行可视化的时候,我们会进行降维。
矩阵在机器学习中应用的缺点 空间复杂度高
怎么降低矩阵乘法的复杂度 我知道稀疏矩阵可以用分块的方法降低复杂度,非稀疏的矩阵应该也可以用类似的思想来降低