这类功能只是展现了一种技术实现的可能性，目前真正给用户带来的体验方面提升并不大。

2016年，一家造车新势力筹备自己的首款新车时，计划给这款车添加一个炫酷又高科技的卖点，希望打造亮眼之笔，达到一鸣惊人的效果。

当时技术开发人员想到了互动式车窗投影，这个功能的直观描述是，当驾驶者靠近但还未开启车门之前，车窗上会显示问候语以及与车或车主本人相关的一系列信息，车主可以不用触碰车窗，隔空靠着手势操作各项指令。

在类似的互动体验下，汽车似乎由此成为有生命的对话体，这项互动技术在全球也是一个领先的技术。那一年，还没有一款车上有这样成熟的功能，宝马虽然在2015年有了这项技术储备，但知道的人很少。

互动式车窗投影由四部分组成：手势、光机、成像膜以及阅读灯，主机厂需要找这四家供应商合作完成。按照整车公司采购流程，一般是由采购部门找几家供应商，技术人员和相关决策层比较后进行最终选择。这一次有点特殊，除了阅读灯是偏传统的零部件，其他手势、光机、成像膜都是新技术，所以采购由技术部门来引荐和主导。

极鱼科技是2015年12月成立的科技公司，主要研发TOF深度摄像机以及相关应用算法，通俗地说，就是手势识别技术。

《碟中谍》里有一个场景，汤姆·克鲁斯站在虚拟的屏幕前，双手在空中操作各种菜单，而那些屏幕又都是真实的影像。这恐怕是互动式投屏发展的终极形式，即在未来自动驾驶时代，我们将靠着手势推拉挪移完成所有想做的事。

极鱼科技作为负责手势识别开发的供应商，和另外光机、成像膜和阅读灯的三家供应商一起成为这个项目的主力，2017年5月8日，极鱼科技和主机厂签定了产品开发合同。

未成形的计划

房文新曾是360智能摄像机联合创始人，5年前，他创立了极鱼科技。汽车行业对他来说，是一个新的行业。接到这个项目后，作为创业公司老板，他很兴奋。

主机厂计划把整个投屏互动硬件装在驾驶舱前排反光镜上方的阅读灯位置。光机和手势识别的硬件都放在阅读灯里，成像膜则贴在驾驶舱一侧的玻璃上。4家供应商合作，要实现的场景是当车主靠近车门一定距离时，车窗上会显示互动信息，比如电量、天气，车主通过隔空手势，比如挥手来控制各项命令。

关于互动投屏功能，房文新说目前有三个难点。第一，手势识别的精准度和灵敏度受车机算力的影响。算力高，灵敏度高，算力低，精准度也低。第二，手势是在驾驶舱一侧的车窗外发出指令，这意味着阅读灯里的摄像机要隔窗获取用户的手势信息，读取过程中容易受太阳光或光线的干扰，而且玻璃上还有一层膜，膜的质量不同，也有不同程度的干扰。

第三个难点就是投影仪和膜。投影仪要无光投影仪，投出来有红外线光和紫外线光，用来成像，投在车玻璃上不能晃眼。普通投影仪投过来，晃眼的概率很高。膜也必须是透明的，而且要解决紫外线老化的问题，如果紫外线一直照，产生老化，容易变色，影响显示效果。膜要达到车规级质量，在相当长的时间内保持不老化、不受损，还能清晰接受呈像是很难的。

主机厂为了实现这个项目，前后投资约800万元资金。2018年4月的北京车展，他们展出了样车，当时在两款车上都展示了投屏显示功能，只是手势识别没有展出。

原计划，这个功能要在2018年9月30日前测试交付完成，这是量产车交付的日子，作为首款量车，这对主机厂是非常重要的时间点。遗憾的是，直到2019年3月，新功能整体仍未测试成功，主机厂最终取消了这个研发项目。

互动投屏功能为什么测试没有成功？究竟是因为手势识别，还是光机或成像膜的问题导致测试失败，我们采访到的房文新和主机厂各执一词，说法都不相同。但从结果上看，该功能呈现的效果没有达到主机厂的预期，是夭折的关键因素。

对此事知情的人说：这家造车新势力对新技术的创新当时比较盲目。这个项目虽然立项，但他们没有投入太多的人进行研发，完全靠供应商自己去研发，三家供应商本身也是创业公司，三个创新方向，经验不足。整个产品的成熟性还没有到产品级，还停留在实验室的阶段。

这个功能即便通过了实验室测试，后续还有样车和量产车的测试，新功能从立项到最终量产到消费者手上，中间有太多的测试和由此带来的变数。

实际的市场需求

手势识别最早出现在宝马车上，被5系、7系、6系GT选装。目前大家熟知的宝马车上有5种手势，但也有人说有7个手势，这些动作可以用来隔空调节音量、切换歌曲、接听电话，但这只对主驾驶上的人员有效，副驾驶或后排无法使用这个功能。

后装这个功能成本4500元左右，后装只针对宝马车型。

2019年3月开始从事手势识别产品销售的杜伟说，“有些用户喜欢这个功能，有些用户就觉得多此一举。从2019年10月到今年的3月，我们卖出了5000多台， 其实整体销售不算太满意，售价很低，我们把成本已经做得很低了。目前，我们还在培育这个市场。长远是看好的，我们会接着做。”

杜伟所在的公司提供两款手势识别产品，大小和点烟器差不多，外形设计上有一个更时尚。车主使用时就插在点烟器的位置，把收音机调到指定频道后，就能实现隔空手势切歌、接电话，两款产品都很亲民，单价分别是129元和59元。目前，他主要在小米优品和京东自营店售卖。当时小米优品选中他们时，也是因为产品的创新性。

房文新说，刚开始的时候，这个市场肯定是小众的，他预计要全面普及的话需要两个条件，一是车里的屏幕变多，二是车主能半自动开车，双手解放出来。“现在的手势识别更多像是一个科技软件。”

技术在不断成熟。“我们的算法有三个级别，最低的级别就当触摸屏用。第二个级别可以支持十几个手势，一二三四，滑动几个动作……第三个级别是，每个手指的关节，怎么弯曲，怎么旋转，都能出来，相当于是你模拟整个的手，甚至是可以玩游戏，做一个手榴弹投出去。基本上是电脑级别的。我们预计普及也要到第3、4代，现在是养市场的阶段。”

上述造车新势力企业从去年开始停止了这个项目的开发。“暂时不会考虑这个功能了，领导把钱放在更有用的地方了，这种都是做噱头的。”员工说。

智能座舱的难点

即便疫情发生，在国内外各大汽车主机厂2020-2023年的产品规划中，还是可以清晰看到智能驾驶座舱多模态交互已成为重点规划产品。多模态人机交互主要分为交互信息输入、融合和处理、反馈3个模块。

其手势识别属于信息输入模块，其他语音、触摸、视觉和表情等也是属于这个模块，整车厂家都希望构建出多模态自然人机交互系统。

目前驾驶员监控系统DMS已从法规层面成为刚需，因为Euro-NCAP要求从2020年开始DMS成为五星评级的必要条件之一，我们国家目前也在跟进相关标准法规的制定。

DMS从应用层面上说，是指驾驶舱感知驾驶员与乘客的状态，比如疲劳、注意力、驾驶行为，这是保障驾驶者和乘客安全的多模态交互应用场景之一。

相对视觉、语音识别市场的迅速扩张，手势识别的市场应用推进比较缓慢。大众问问CEO张人杰说，实现车载多模态交互量产的第一步是提升车载语音的普及度，只有语音交互变成用户的强需求，结合其他模态才有意义。

高工智能汽车研究院发布的《2020年一季度数字座舱及车联功能前装搭载报告》显示，今年一季度，国内自主及合资品牌搭载语音的车型上险量占比为55.48%，其中具备自然语言理解交互的不到五成。

语音作为多模态交互最主要的组成部分，依然存在种种缺陷。上到主动交互，多轮对话，下到基础识别等功能，还有很多困难没有解决。

数据表明，国内消费者对数字座舱类体验的支付意愿较高。根据《中国消费者共享汽车使用情况调查》，近50%的消费者对具备智能化感知交互的汽车表示具有强烈的兴趣和支付意愿。

但当年被业界推崇的手势控制是否真的可以被消费者接受？张人杰提出质疑，他认为，交互的逻辑层面实际上囊括了心里学的话题，“车厂需要弄明白，把如此多的技术集合在一起是否真的是用户想要的。”

最早搭载的宝马7系手势交互看起来高端，也吸引了一部分人，但实际有很多人吐槽。在业内人士看来，这种功能只是展现了一种技术实现的可能性，真正给用户带来的体验方面的提升并不大。

“比如车载导航为什么没人用？当车机在导航的同时播放了音乐，导航声音已出现，音乐声就会减弱，用户体验就很差。”张人杰说，以用户真正的需求为引导来开发交互逻辑才是最重要的。

另外，由于多模态技术涉及到不同的技术和供应商的集成，主机厂在沟通、调研、软件测试等方面都会面临挑战。加上此次疫情发生，主机厂对于成本会更加谨慎。

业界普遍认为，多模态交互的量产应该由各大主机厂牵头，人工智能企业参与的方式实现。一来是因为主机厂直接面对消费者，了解客户需求，并且具有强大的软硬件资源整合能力，而人工智能公司则专注于技术创新。

极鱼科技项目的无疾而终，其实在项目签订的那一刻起已经产生，只是双方当时都没有预见到。