- 现有视觉计算情况:绝大多数摄像头+计算机
目前的两个方向:
- 小:将各类传感器集合,例如手机
- 城市:摄像,安保等功能。智能摄像头,传感器+模式识别或摄像头+云计算
例如城市大脑,摄像头+云平台,信息压缩编码等储存;
而简单的智能只是将例如分析是人还是动物将结果传到云
- 现有视觉计算目的
视觉认知,要和人一样,人看到的东西在送到脑子的过程中层层筛选,最终很小的一部分传送到脑子里,讲解生物系统是如何做的,单细胞到多细胞到感光细胞,光感蛋白,眼睛,视神经,神经元眼睛进化,视网膜等慢慢进化的过程,例如昆虫、鱼、鸟和哺乳动物演化等。
人的视觉系统生成距今300多万年,眼睛和脑同时分工进化的,视觉眼,完成不同功能分担(优胜劣汰,自然选择),最高明的地方在于脑的分工,也为人工系统借鉴的地方。
眼睛:抽象和特征提取,最终到达大脑视网膜获取的信息的百分之一或者更少,经过了层层处理。
- 现有问题:系统,类似人,速度快,精度高,高能效
其中云计算的效能非常低,数据处理速度慢、低能效等问题,为了解决此类问题:
1.数字视网膜,特征编码或者组块编码,时空编码再到云计算。
现在摄像头加功能,时钟对标,地理位置信息功能,高效的视频编码,关键是视频数据紧缩方法,高效视频编码等的联合优化以及软件可定义等功能
做到信息缩减,尤其对特征进行缩减
视频特征紧缩表达,类视频特征紧缩编码,面向图像和面向视频的特征表达,优化曲线约束,视频编码和特征编码的联合优化,现有摄像头的算算力预留等
2.类脑数字视网膜,注意,扭头看等采样
类脑+数理模型:脉冲阵列编码压缩表达,像素点,亮点处,很容易实现注意等功能
四、总结
特征紧凑表示与编码,视频内容与特征的联合优化