快速序列视觉呈现

快速序列视觉呈现

快速序列视觉呈现是很折磨人的脑-机接口实验范式。 它拖着一串问题。

---

• 快速序列视觉呈现
• 范式介绍
• 它为什么不能是视频
• 一系列的问题

范式介绍

简单来说，它就是一系列图像， 快速地在眼前闪过， 当人看到他感兴趣的图像的时候， 会在脑中产生特异性的神经激活。

【这是一段棒到不行的视频】

它其实是这些图像依次闪过， 闪烁间隔是100毫秒, 即每秒闪过10张图像。

图片并不多， 但特点鲜明， 其中有几张是包含“人物”的图像， 比如这张

还有这张

好了，现在请再回去看一遍上面的视频， 是不是它们出现的时候， 就能立刻引起你的注意？ 这种响应就是人与生俱来的， 对特定目标的特殊响应。

它为什么不能是视频

下一个问题， 就是纯粹无聊的技术问题

我们可以把这些图像事先编成视频来播放吗？

答案是不能。

因为如果你现在再回去看这个视频， 会发现图像有明显的“撕裂”现象， 然而我们的原始图片质量是相当高的， 不应该会产生这么严重的“失真”呀。

这个现象的问题就是出在视频编码上。

现有的视频编码技术是针对“连续的”图像序列进行编码， 即，它假设视频中连续的两帧图像是彼此连续的， 不仅在时间上连续，它们在内容上也是连续的。

比如，大的背景几乎不变， 只是有个人在前台行走； 再比如，蓝蓝的天空上有一架小飞机在飞行； 等等。

可以用下图来描述， 详见前文色块拼图^[1]

可以想象成，图中的“大色块”区域变化得慢， 而“小色块”区域变化得快， 再加上“小色块”区域所占的面积小， 渲染起来的开销就小。 在这样的假设下， 视频压缩算法自然采用连续的两帧图像彼此相似的假设。

而这样构造的视频压缩算法， 在遇到快速序列图像呈现的时候， 会立即失效。 具体的表现为图像产生撕裂等失真问题。

一系列的问题

所以，如果你察觉到视频不流畅， 那既不是你的电脑或手机的问题， 也不是你眼睛的问题， 那是视频编码的问题。

当然，我的原始呈现方案并没有问题， 视频只是转录用来描述问题。

最后，还留下一个问题， 如何在性能允许的情况下， 构造一个显示方案， 在不使用视频编码的情况下， 对大量随机图像进行快速呈现。

这是之后的问题。

参考资料

[1]

色块拼图: https://mp.weixin.qq.com/s?__biz=MzkxNTI1MDc5NA==&mid=2247485123&idx=1&sn=2e55ed5148a9f72ccfba12e946096b75&chksm=c1634dc6f614c4d0cd75c5c68ee471cba94a3a00e3f8eea8210c81f332e6a043fc5762491a5a&token=1806340682&lang=zh_CN#rd