OpenMMLab课程学习记录（二）

OpenMMLab课程学习记录（二）

基础概念

• 感受野：在机器视觉领域的深度神经网络中有一个概念叫做感受野，用来表示网络内部的不同位置的神经元对原图像的感受范围的大小。神经元之所以无法对原始图像的所有信息进行感知，是因为在这些网络结构中普遍使用卷积层和pooling层，在层与层之间均为局部相连（通过sliding filter）。神经元感受野的值越大表示其能接触到的原始图像范围就越大，也意味着他可能蕴含更为全局、语义层次更高的特征；而值越小则表示其所包含的特征越趋向于局部和细节。因此感受野的值可以大致用来判断每一层的抽象层次。
• 表征学习：在机器学习领域，表征学习（或特征学习）是一种将原始数据转换成为能够被机器学习有效开发的一种技术的集合。 在特征学习算法出现之前，机器学习研究人员需要利用手动特征工程（manual feature learning）等技术从原始数据的领域知识（domain knowledge）建立特征，然后再部署相关的机器学习算法。

图像分类问题

数学表示方法（使用数学建模方法表示问题）

• 获得图像的像素数组

• 图像构成的数组 ,对数组进行编号（监督学习）即
• 构建一个可实现的函数F，将图像像素数组输入到函数F中，可以准确的映射为图像的种类，数学表示为 ,则该图像对应为种类i

获取数组的方法、对数组进行编号这两步都比较简单，**关键的点在于找到函数F，使其满足映射 **，在数组X中蕴含的数字其实可以理解为是信息量，在函数F中能够获取到更多的信息量，则通过机器学习或者是深度学习的方法图像分类会更加准确；

特征提取

从身体的角度出发，在只能看到图像的基础上，如果是人对图像分类那么应该是获取到这个物体的形状、物体的颜色等等，通过形状、颜色等信息然后判断这一物体属于什么。那么从机器学习的角度而言，如何用数字之间存在的相关关系表达出物体的形状、物体的颜色等步骤就称为是图像的特征提取。

表征学习（特征学习）

在机器学习领域，表征学习（或特征学习）是一种将原始数据转换成为能够被机器学习有效开发的一种技术的集合。简单来说就是有了图像特征之后，要考虑如何将这些特征输入到机器学习的算法中，让机器学习的算法能够根据这些特征进行分类或者是通过这些特征能够更新机器学习算法中的相关参数，如下图所示：

在特征提取或者是表征学习的相关算法中，要考虑的东西也比较多，如算法的鲁棒性，比如将图片进行旋转，算法也应该能保证识别出该物体的种类其实还有很多考虑的因素，如果是研究方向为此方向的话，可以跟进研究图像特征提取的方法，使得在很少计算量的情况下能够获得更多的图像特征。

层次化特征

层次化特征，个人理解的作用是将前层的特征融合在后层中，通过后层中的一个数据表示前层数据中的相关关系等。

课程学习内容

图像分类中神经网络的发展

AlexNet VggNet GoogleNet ResNet ResNeXt SEResNet Vision Transformer Swin-Transformer

这些网络结构构建的方法以及考虑的出发点都是需要慢慢仔细研究的，网络精度如下图所示：

整体流程

在现有的深度学习框架如pytorch、tensorflow中这些模块都已经实现，在熟悉代码的基础上可以直接调用，具体细节详见ppt。

本节上课内容还有很多，要慢慢消化，按照ppt中的内容，结合自己的方向慢慢进行更新吧，下一次更新卷积计算～

参考资料

• https://blog.csdn.net/bblingbbling/article/details/112944533
• https://www.cnblogs.com/shine-lee/p/12261139.html
• https://cloud.tencent.com/developer/article/1370305
• 图像特征

本文中涉及到的图片均来自OpenMMLab 2023年2月2日授课，获取ppt方式，后台回复：20230202