张春成

V2

2022/02/07阅读:50主题:默认主题

快速序列视觉呈现

快速序列视觉呈现

快速序列视觉呈现是很折磨人的脑-机接口实验范式。 它拖着一串问题。


范式介绍

简单来说,它就是一系列图像, 快速地在眼前闪过, 当人看到他感兴趣的图像的时候, 会在脑中产生特异性的神经激活。

【这是一段棒到不行的视频】

它其实是这些图像依次闪过, 闪烁间隔是100毫秒, 即每秒闪过10张图像。

RSVP 1
RSVP 1

图片并不多, 但特点鲜明, 其中有几张是包含“人物”的图像, 比如这张

RSVP 2
RSVP 2

还有这张

RSVP 3
RSVP 3

好了,现在请再回去看一遍上面的视频, 是不是它们出现的时候, 就能立刻引起你的注意? 这种响应就是人与生俱来的, 对特定目标的特殊响应。

它为什么不能是视频

下一个问题, 就是纯粹无聊的技术问题

我们可以把这些图像事先编成视频来播放吗?

答案是不能。

因为如果你现在再回去看这个视频, 会发现图像有明显的“撕裂”现象, 然而我们的原始图片质量是相当高的, 不应该会产生这么严重的“失真”呀。

这个现象的问题就是出在视频编码上。

现有的视频编码技术是针对“连续的”图像序列进行编码, 即,它假设视频中连续的两帧图像是彼此连续的, 不仅在时间上连续,它们在内容上也是连续的。

比如,大的背景几乎不变, 只是有个人在前台行走; 再比如,蓝蓝的天空上有一架小飞机在飞行; 等等。

可以用下图来描述, 详见前文色块拼图[1]

RECT
RECT

可以想象成,图中的“大色块”区域变化得慢, 而“小色块”区域变化得快, 再加上“小色块”区域所占的面积小, 渲染起来的开销就小。 在这样的假设下, 视频压缩算法自然采用连续的两帧图像彼此相似的假设。

而这样构造的视频压缩算法, 在遇到快速序列图像呈现的时候, 会立即失效。 具体的表现为图像产生撕裂等失真问题。

一系列的问题

所以,如果你察觉到视频不流畅, 那既不是你的电脑或手机的问题, 也不是你眼睛的问题, 那是视频编码的问题。

当然,我的原始呈现方案并没有问题, 视频只是转录用来描述问题。

最后,还留下一个问题, 如何在性能允许的情况下, 构造一个显示方案, 在不使用视频编码的情况下, 对大量随机图像进行快速呈现。

这是之后的问题。

参考资料

[1]

色块拼图: https://mp.weixin.qq.com/s?__biz=MzkxNTI1MDc5NA==&mid=2247485123&idx=1&sn=2e55ed5148a9f72ccfba12e946096b75&chksm=c1634dc6f614c4d0cd75c5c68ee471cba94a3a00e3f8eea8210c81f332e6a043fc5762491a5a&token=1806340682&lang=zh_CN#rd

分类:

后端

标签:

后端

作者介绍

张春成
V2