张春成

V2

2022/04/24阅读:39主题:默认主题

Movie in Machine Learning

Movie in Machine Learning

如果你实在是没有时间看电影,不妨让算法把相似的信息提取出来。

当然,目前的算法很粗糙,提取的信息也很朴实。


分析方法

把电影视频当作是图像序列,图像序列在一个一个的小段具有连续性,称为片断。

导演通过片断之间的顺序关系,讲述一个故事,就称为剪辑。

那么我就用工程师的无聊方法把这个过程反过来。

把图像当作是矩阵,黑白图像是二维矩阵,彩色图像是具有通道的RGB三维矩阵。

这样,电影的图像序列就变成了矩阵的连续流形

其中,

谱聚类

接下来,对 这个维度进行谱聚类。就是把单时间点的图像作为样本点,进行谱聚类。取得它们的类别标签。将类别标签绘制在原始时间轴上,如下图所示

类别标签示意图
类别标签示意图

类别标签示意图

根据类别标签,就可以实现相似图像的归类。

我选择了两部美剧的第一集作为例子,看看分析效果如何。

  • 第一部是 Ekaterina
  • 第二部是 Homeland

从结果上看,

  • 这种土办法对人物特写比较有效,但它分不出来特定的角色;
  • 对远景的效果也还行,但容易和人群混淆。

所以进一步工作(如果有的话)的思路异常简单,就是找一个神经网络,它应该有区分图像内容的能力。之后用它提取的图像特征重复上面的聚类工作,希望新结果能够更加有效地提取场景并对它们进行归类。

Ekaterina S01E01

Untitled
Untitled
Untitled
Untitled
Untitled
Untitled
Untitled
Untitled

Homeland S01E01

Untitled
Untitled
Untitled
Untitled
Untitled
Untitled
Untitled
Untitled

分类:

后端

标签:

后端

作者介绍

张春成
V2