张春成
V2
2022/04/24阅读:39主题:默认主题
Movie in Machine Learning
Movie in Machine Learning
如果你实在是没有时间看电影,不妨让算法把相似的信息提取出来。
当然,目前的算法很粗糙,提取的信息也很朴实。
分析方法
把电影视频当作是图像序列,图像序列在一个一个的小段具有连续性,称为片断。
导演通过片断之间的顺序关系,讲述一个故事,就称为剪辑。
那么我就用工程师的无聊方法把这个过程反过来。
把图像当作是矩阵,黑白图像是二维矩阵,彩色图像是具有通道的RGB三维矩阵。
这样,电影的图像序列就变成了矩阵的连续流形
其中, 。
谱聚类
接下来,对 这个维度进行谱聚类。就是把单时间点的图像作为样本点,进行谱聚类。取得它们的类别标签。将类别标签绘制在原始时间轴上,如下图所示

类别标签示意图
根据类别标签,就可以实现相似图像的归类。
我选择了两部美剧的第一集作为例子,看看分析效果如何。
-
第一部是 Ekaterina -
第二部是 Homeland
从结果上看,
-
这种土办法对人物特写比较有效,但它分不出来特定的角色; -
对远景的效果也还行,但容易和人群混淆。
所以进一步工作(如果有的话)的思路异常简单,就是找一个神经网络,它应该有区分图像内容的能力。之后用它提取的图像特征重复上面的聚类工作,希望新结果能够更加有效地提取场景并对它们进行归类。
Ekaterina S01E01




Homeland S01E01




作者介绍
张春成
V2