摄像机和成像设备AI的无限潜力

 
今天人工智能的主要好处之一，无论是开发人工智能软件，拍摄视频还是拍照，人工智能都可以加速这一过程，让您的产品更快地实现。具体来说，对于软件开发人员来说，智能手机等边缘设备可以使用的AI工具正在为新的尖端功能和应用开辟道路。
“作为一名开发人员或创意人员，你宁愿把时间花在编程或创意方面的平凡挑战上吗?”高通公司高级主管兼人工智能战略和产品规划负责人Gary Brotman说。 “AI，使用神经网络，这意味着今天的智能手机功能可以生成与高端数码单反相机相同的照片。”
此外，随着技术的发展，所有熟悉的功能，如场景识别，夜间模式摄影，超级分辨率等，都可以实时应用，而不是像今天这样在后处理过程中应用。最终，大多数图像质量和增强功能将由AI以某种方式辅助 – 或者更准确地说，是神经网络领域中的功能类。
“我们处于AI成像可能性的初期阶段，”Qualcomm Technologies的相机，计算机视觉和视频产品管理高级主管Judd Heape说。 “这种潜力可以为开发商和企业家敞开大门，使他们远远超出我们目前对识别和检测的思考和理解。”
相机功能在尖端
目前，在已经捕获照片之后，图像修改作为后处理完成。通常，编辑是使用单独的软件程序或使用云完成的。随着Qualcomm®SnapdragonTM移动平台等技术的推动，这一切都在发生变化。这些设备能够在设备上处理这些神经网络，而无需进入云端。此外，这些算法不仅可以应用于静止图像，还可以应用于视频。随着我们前进，越来越多的AI网络将能够实时了解相机拍摄。例如，一旦它了解场景和场景中的对象，AI网络就可以立即决定需要进行哪些改进来改善照片或视频。
“随着计算处理的进步，你将能够预览实时添加的效果，”Heape说。 “作为消费者，您将有效地拥有以前无法实现的电影级视频和静态图像捕捉功能。您不需要为将视频加载到PC然后进入编辑程序进行艰苦的修改而烦恼。所有这些都可以在本地，实时，在设备本身上发生。“
引擎盖下有什么
这些新功能如何成为可能?传统上，手工制作的脚本和特征检测器是为计算机视觉手动开发的，但随着技术的发展，它们被神经网络所取代，这些神经网络训练有关每个特定功能的数据。这包括HDR，添加过滤器以及目前在相机管道中的其他功能 – 所有这些功能都在某种程度上从传统的计算机视觉技术演变为使用新的，最先进的AI。
在深度学习中，计算机通过分析训练样例来学习执行任务，通常是事先用手标记。例如，对象识别神经网络将被馈送数千种标记图像，然后开始学习视觉模式。
神经网络在人脑上松散地建模，具有数千甚至数百万个密集互连的处理节点。每个节点为其每个传入连接分配权重。在活动网络中，节点在其每个连接上接收不同的数据，并将其乘以相关的权重。当它将所有这些权重加在一起时，结果数字必须通过一个阈值，以便沿其所有传出连接传递该数字，表示正在评估的图像与是否与特定过滤器相关的匹配。
在他们学习的过程中，神经网络可以做任何事情，从识别猫，设置正确的自动白平衡，到放大项目以通过填充图像中不存在的位来保持清晰度。
如何获得25X – 30倍的速度
“由于硬件的巨大进步，这一切都是可能的，”Heape说。 “现在我们的硬件已经针对人工智能进行了更优化，并且能够处理这些网络，我们可以用更少的功率和时间更高效地完成这项工作。”
人工智能在移动或嵌入式设备中越来越普遍;而且硬件技术也在跟上步伐。设计芯片组的计算能力和架构被设计用于有效地处理这些AI算法。
Qualcomm Snapdragon移动平台包括CPU，GPU，DSP和专用AI加速器。 Brotman说，这些计算核心协同工作，为开发人员提供了比过去更有效处理AI算法的各种选项。
“如果我们没有优化Snapdragon中用于节能AI的所有处理器架构，那么这些基于AI的摄像头功能将无法实现。我们在Qualcomm®HexagonTMDSP和我们专用的Hexagon张量加速器中看到了Vector Extensions中AI性能的最大进步，“他解释道。 “多核处理器增强功能正在加快通向完全支持AI的相机的道路。”
“在GPU上运行基于视觉的神经网络模型而不是CPU时，开发人员可以获得5倍的性能提升，”Brotman解释道。 “当你在Hexagon Vector Extensions或Hexagon Tensor Accelerator上运行相同的神经网络模型时，你会看到相对于CPU的性能改进在25x到30x之间，并且能效显着提高。”
人工智能和成像的未来
“我们真的不知道这一切会在哪里结束，但开发人员会发现许多新的和有趣的事情要做这项技术，这可能是我们有些人从未想象过的，”Heape说。 “这不仅仅适用于静态图像和视频质量。从理解AR的环境到更好的场景检测，到图库中照片和视频的直观视觉搜索，一切都将成为现实。未来是无限的。“