PARTNER PROGRAM Earn 10% commission on every order you refer — no stock, no risk. Join & Earn
🎁 WELCOME GIFT Sign up & get $500 in coupons — auto-applied at checkout Claim Coupons
NEWS

Xspark AI 丁文伯:触觉替代不了视觉,但机器人需要一套自己的“脊髓” |物理AI 50人

2026-10-10 · Source: 雷峰网 RSS(科技行业示例) · Views 4

Xspark AI 丁文伯:触觉替代不了视觉,但机器人需要一套自己的“脊髓” |物理AI 50人

具身智能进入“触觉时代”,丁文伯提出“脊髓”架构补全机器人物理交互短板。


作者:李秋悦
编辑:吴彤

丁文伯很难被一个词准确“定位”。通信博士、材料学博士后、机器触觉学者,这些标签都对,但都只能解释他的部分经历。

2025年,丁文伯又多了一个身份——Xspark AI(无界智航)联合创始人、首席科学家。一个做了多年传感器研究的清华教授出来创业,没有把公司定义成一家“传感器公司”。相反,他认为造出更好的传感器,并不会自动得到一个更聪明的机器人,机器人触觉可能需要一套自己的模型。

这个判断首先来自纯视觉的局限。

过去两年,具身智能最主流的技术路径仍然延续大模型的Scaling逻辑,即更多视频、更多机器人轨迹、更大的VLA(视觉-语言-动作模型),让机器人沿着“看见—理解—行动”的链条不断提高泛化能力。丁文伯并不反对这条路线,他甚至认为“VLA是一个蛮solid的逻辑,像早期Transformer、diffusion policy一样,一定会在具身智能(历史)长河里留下浓墨重彩的一笔”。

但机器人和语言模型最大的不同在于,它最终要伸出手,真正碰到这个世界。

在丁文伯看来,视觉其实已经解决了机器人感知世界“99%”的问题,触觉没有必要和视觉竞争。它更像是在视觉失效或者不够确定的时候,补上接触发生之后的信息。杯子有没有开始滑动,手指是不是捏得太紧,机械臂有没有撞到人,一个灵巧动作应该继续用力还是立刻修正。机器人一旦真正进入物理世界,问题就不只是“有没有看见”,还包括接触之后能不能及时感知、修正和避险。

问题也由此往前走了一步:如果机器人需要触觉,那么触觉应该以什么方式成为智能?

最直接的办法,是把触觉作为一种新的模态塞进现有模型。但丁文伯对此并不完全满意,他认为从第一性原理看,触觉的信息量远没有视觉丰富,却对反馈效率有更高要求。把它直接和整个视觉模型融合,要么产生大量冗余,要么少量关键触觉信息反而被视觉淹没。

这也是他开始提出“触觉原生智能”的原因。

触觉智能未必需要拥有视觉大模型那样丰富的语义理解能力,相反,它可能应该更轻、更快、更靠近身体。人快要摔倒时,并不会先识别“我正在摔倒”、分析原因,再决定伸手,而是身体先完成反射。丁文伯因此喜欢用人的“脊髓”来类比触觉智能:它处理的信息可以没有那么丰富,但要足够低延迟,能够在滑动、碰撞、失衡等发生的一瞬间做出反应。

不过,从“触觉很重要”到真正做出一套触觉智能,中间还有很长的距离。

首先是硬件。不同触觉传感器之间的一致性依然很差,即使同一批次生产的设备,性能也可能存在明显差异。模型因此很难像视觉模型一样,在不同硬件之间直接迁移。

其次是数据。触觉没有互联网时代天然积累下来的海量图片和视频,同一个动作换一个人、一个传感器甚至一个机器人,数据分布都可能发生变化。

再往后还有更基础的问题:触觉到底应该如何Representation和Embedding?不同传感器采集出来的力、温度、剪切、振动,最终有没有可能被转换成某种与具体硬件无关的共同表征?丁文伯把接下来两三年甚至五年的问题概括为三个“跨”——跨传感器、跨模态、跨本体。

所以丁文伯并没有声称,一套成熟的“触觉大模型”已经有了答案。他承认,目前更现实的仍然是一条折中路线:短期先把某一种多模态触觉传感器做好,再和现有模型融合;预训练阶段聚焦通用能力构建,触觉信息的引入与融合则放在灵巧操作的后训练和动作修正阶段。至于长期,他才倾向于认为,触觉最终会形成自己的模型和逻辑。

Xspark AI提出的“慢脑 VLM—快脑 VTLA+TWAM—脊髓 VTA”三层架构,可以看作前者判断现阶段的一种工程表达。在这套架构里,视觉语言模型构成“慢脑”,负责语义理解、高层认知和任务规划;触觉首先进入“快脑”,与视觉、语言和动作一起参与长程任务和灵巧操作;再往下一层,触觉成为“脊髓”的核心信息,在碰撞、滑落、安全等场景下完成更快的局部反应。同一种触觉,因此同时承担两种角色:在快脑里帮助机器人“做得更好”,在脊髓里保证机器人“来得及反应”。

这也让丁文伯正在研究的问题比“机器人需不需要触觉”更具体了一层。

视觉仍然会是机器人理解世界最重要的信息来源,VLA也仍然是主流路线。真正没有被定义清楚的是:触觉究竟只是现有视觉模型增加的一种输入,还是因为它对接触、运动和实时反馈的特殊要求,最终会生长出一套不同于视觉智能的模型和计算逻辑。

丁文伯现在做的,就是试图找到这个答案。以下是左林右狸与丁文伯的对话(在不改变原意的基础上做了部分编辑):


01 “科研困难户”是怎么入门的?

左林右狸:2007年安徽省理科第三名,为什么读清华电子系?

丁文伯:当时没考到省状元,就“没法选经管”。那时候我们很多人都想读经管。刚好来招生的是电子系老师,他跟我讲了一番电子系的“宏伟蓝图”,最后我就去了电子系。
我记得当年我们学校有几个同学,分别是全省第二、第三、第六名,最后全被这位老师招进了电子系。

左林右狸:这位老师当时给你讲的“宏伟蓝图”是什么?

丁文伯:他的“宏伟蓝图”其实很简单,他说你学不了经管,清华在安徽只招一个人,你去不了。后来我才听说,经管在安徽其实招了5个人。
不过也没关系。前两天我还跟同学说,人生里很多选择,当时你可能觉得自己做了一个很好的决定,但最后真正改变人生的,往往是一些不经意的选择,甚至是被迫做出的选择。

左林右狸:2011年,本科毕业之后,为什么选择系里面最难进的通信所直博?

丁文伯:首先,那时候通信很火。其次,我本科成绩比较好,自然会像选本科专业一样,去选一个当时看起来最好的方向。
但这也是受限于当时的认知。等我博士毕业,到了2016年前后,其实通信领域的研究重心已经开始从学术界转移到工业界。这个变化,学生身在学校里很难真正意识到。

左林右狸:有资料说,你读博前三年研究没有丝毫进展,没有SCI,也没有奖学金。

丁文伯:也不能说完全没有进展,那种说法多少有点“包装”。
我其实一直很努力,导师对我也很好,也会发一些小论文。但我自己知道,那些工作很多时候是导师给一个想法,我把它认真做完。我并没有真正学会怎么从零开始提出一个问题,再把它做成一项研究。
那时候我还很认真地写专利,因为专利比论文容易入手;也会帮导师写项目申请。
我一直是想法很多的人,但当你对一个领域理解得还不够深的时候,很难真正从零开始做研究。那时我对自己最大的判断是:我可能没有从零开始做科研的能力。
直到后来一位师兄带我把一件事情完整做通,我才发现,不是我没有这个能力,而是之前没有找到合适的方法。

左林右狸:师兄是怎么启发你的?

丁文伯:我举一个特别通俗的例子做类比。
我在清华一直想学游泳,但总也学不会。好不容易选上游泳课,老师第一节、第二节就教很规范的动作,我还是学不会,最后只能退课。毕业前,我找了一个刚刚学会游泳的师弟。他大概花了10分钟就把我教会了。动作当然不标准,游得也不快,但我确实能游了。
为什么?因为他刚刚踩过那些坑,知道一个初学者真正卡在哪里。后来我意识到,科研也是一样。
大概博三的时候,一位刚留校的师兄做完了一篇论文。他把一套还没有完全成型、大概做到七八成的代码给我,说这个方向可以继续做,但剩下20%、30%要靠你自己补。
我第一件事就是把代码跑通。后来发现,在一些边缘场景里,性能甚至比他预想得更好,这些是他原来没有注意到的。那时候我才意识到,自己其实还是有钻研能力的。
真正写论文的时候,这位师兄也非常有经验。我记得有一个寒假,我已经回家了,我们几乎每天都在改。40天左右,他帮我改了将近60遍。
那篇论文改完之后,我才真正觉得自己从科研门外走到了科研里面,知道一项好的工作应该怎么做。

左林右狸:2016年博士毕业后,当时拿到哪些博士后offer?

丁文伯:我没有特别大范围地找,最后主要有两个机会,一个是MIT,一个是Georgia Tech(美国佐治亚理工学院)。
MIT做的是信息论,还是传统通信方向,而且非常硬核。Georgia Tech这边,则和清华电子系希望我转方向有关。当时系里虽然有留我的计划,但做通信的老师已经很多,希望我换一个方向。
那个时候我其实很难理解。我会想:我都已经这么努力做到这个程度了,为什么现在又让我换?现在回头看,这是很多更资深的人站在更高的位置给出的中肯建议。但当时没办法,有点“胳膊拧不过大腿”。
MIT我当然很想去。我甚至觉得,如果本科毕业直接出国,大概率也会去申请MIT博士。再后来我太太去了哈佛,她也很希望当时的我选择MIT(这是后话了,所以后来她在哈佛读书那段时间,我经常周末往返亚特兰大和波士顿去给她做饭)。
但最后我没去。因为我当时想了一件事:要做,就做一件不一样的事。如果继续做通信,我大概率很难超过原来的导师,包括MIT那边的导师。既然如此,不如干脆换一个方向。
所以我去了Georgia Tech,开始做偏电子皮肤的研究。现在回头看,这里面确实有很多“阴差阳错”。

左林右狸:在Georgia Tech刚开始的研究方向是什么?

丁文伯:刚过去,王老师(王中林,国际顶尖纳米科学家和能源技术专家)让我做一个软硬件结合的用户身份认证系统。
我完全不会。博士期间我主要用MATLAB(矩阵实验室)做算法优化。这个项目是一位师兄留下来的,但之前一直没有完成实时系统,只留下了一个概念和初步原型。
我不会LabVIEW(实验室虚拟仪器工程工作台),也不会NI(美国国家仪器公司)的数据采集系统。只知道大概要先把传感器数据采出来,再写算法,最后做一个界面。
我大概花了一两个星期,从完全不会做到把整个系统跑通。每天就在YouTube上看教程,我记得看的是一位台湾老师讲NI的课程,因为官方说明书我实在看不懂。
刚好当时最新版LabVIEW可以和MATLAB兼容,所以我就用了一个最直接的办法:所有数据采集用NI,所有算法用MATLAB。
最后系统做出来了,界面也做得比较完整。大概一两个星期,我把之前一直没有真正做成的东西做了出来。
从这件事以后,王老师开始对我刮目相看。

左林右狸:你的学习能力非常强。

丁文伯:也是从零开始干,因为压力在那里。

左林右狸:最后为什么没有成为一个典型的材料科学家,而是往传感器和信息处理方向走?

丁文伯:我刚过去的时候,是真的想从头学材料。我一直觉得自己能学,态度也很认真。
但我内心还有一个很现实的想法:做材料太辛苦了。一个实验经常就是大半天甚至一天。我后来发现,很多实验步骤其实可以自动化,所以我就把能自动化的尽量都自动化了。
我也认真跟做材料的同学学过。他们教我喷涂、纺丝,但我发现自己有一个问题——手比较笨。同样的流程,他们一做就能出来,我可能要反复很多次。当然,他们已经接受了本科、博士阶段的材料训练,我是完全从零开始,很多基础知识都没有。
慢慢我意识到,自己大概率不会成为一个非常优秀的材料科学家。但我发现自己很擅长另一件事:系统集成,以及跟不同背景的人合作。
以前组里有人能做出很好的材料传感器,但很难把它做成一个完整、稳定、可复现的系统。这个事情我能做。所以那段时间我的合作非常多。如果我愿意开口,基本不会缺共同一作的论文。
但大概一年半以后,王老师又说了一句话,把我点醒了。他说:“文伯,你不能只是享受和别人合作、一起署名。你得有自己的代表作,要有真正属于自己的东西。”
从那以后,我才真正开始认真想:未来到底要做什么。
当时我经常跟实验室同事吴昌盛讨论,他现在是新加坡国立大学教授。他那时博士快毕业,我的博士后也快结束,我们都在想下一步。
大概2017、2018年,我们开始觉得机器人值得做。但具体怎么做,我们也不知道。反正有空就在想这件事。

左林右狸:为什么觉得机器人这件事值得干?

丁文伯:王老师整个学术版图里,很多方向已经有师兄做得很好,成为代表人物了。我们就在想,还有什么事情是自己可以真正立住的?
当时软体机器人开始受到关注,而且王老师研究的材料天然就是一种柔性传感器,做的人又没有那么多。
本质上还是两个判断:一是这个方向未来有没有机会,二是我们自己的能力和背景能不能做。当时觉得,这件事我们能做,逻辑其实很直接。

02 一个更好的传感器,不会自动带来一个更聪明的机器人

左林右狸:2019年,你回国第一年就建了SSR实验室?

丁文伯:其实2018年我就开始想做机器人,只是还不知道具体做什么,所以先起了一个名字:Smart Sensing & Robotics,简称SSR,也就是“智能感知与机器人”。
我这个人比较喜欢谐音梗。玩卡牌游戏的人都知道,SSR代表“Superior Super Rare,特级超稀有”。我就跟学生开玩笑说,做得好不如选得好,选择有时候比努力更重要,所以就用了这个名字。

左林右狸:当时有定研究目标吗?

丁文伯:大的方向就是机器触觉,但说实话,当时学生和我都很懵。我们不停地问:到底什么叫机器触觉?是做电子皮肤,还是做别的东西?
所以最开始还是从电子皮肤入手,同时延续王老师那套摩擦电的技术路线,也做出了一些比较有意思的工作。

左林右狸:选择机器触觉,和你博士期间做通信研究有关吗?

丁文伯:最初选择机器触觉,跟博士期间的通信研究关系其实没有那么大。当时更多还是在判断,未来哪里有机会。
但真正让我后来能在机器触觉这个方向立住,确实有两个工作,而且都跟我之前的积累有关。
第一个是MTSensing,基本可以看作博士后工作的延续。
2018年我和吴昌盛决定开始做机器人以后,他因为计划去另一个地方做博后无法专门关注触觉,我很快会独立能够自由选择方向,所以我就先做触觉。我们发现,王老师提出的摩擦纳米发电机,本身就很适合拿来做触觉。
但一开始也不知道具体能做什么。一路做到2020、2021年,最后把它做成了一个完整系统,用单个柔性摩擦纳米发电机,同时识别物体的材质和纹理。
第二个方向,是后来转向视触觉传感器。
MTSensing做完以后,我们碰到一个很现实的问题:电子皮肤本身可以做得很好,传感器也可以做得很漂亮,但真正制约系统的,往往是皮肤后面的芯片、电路、模数转换这些东西。
我是电子技术背景,所以很早就意识到,这里会成为瓶颈。但集成电路又是我当时做不了的事情。这个领域跟纯软件不一样,里面有大量依赖长期经验积累的东西。
大概2019、2020年,我们开始关注视触觉。契机是我的一个学生。他原来就在做视触觉,进组以后希望继续。我有一天突然问他:为什么这么多年,视触觉基本都围绕红、绿、蓝三色可见光来做?
我博士期间做过可见光通信,所以我的直觉是:通信的频谱这么宽,为什么视触觉只能用可见光?为什么不能增加紫外、红外,甚至其他波段?
我简单查了一下,发现没人这么做,而且我们有能力做。这个问题一打开,后面很多工作就顺着出来了。
大概从2021年开始,我们沿着多光谱视触觉一路往前做,包括后来发表的M³Tac,以及今年发表在 Nature Sensors 上的SuperTac。
SuperTac本质上是一套多模态触觉系统,把多光谱成像、摩擦电感测和惯性测量等技术结合在一起,让机器人同时感知力度、位置、温度、材质、纹理、颜色、振动、滑动、碰撞、接近等多种信息。
所以回头看,这两条研究线其实很清楚:MTSensing更多延续了我的博士后积累,多光谱视触觉则把我博士期间做通信、博士后做传感器的知识重新接了起来。

左林右狸:实验室从做传感器到具身智能,具体转折在哪一年?

丁文伯:2022、2023年前后开始有变化。
我一开始对“具身智能”这种新词其实很谨慎。学术界这些年不断出现新概念,从压缩感知到Transformer,我的态度一直差不多:有用就用,没有必要为了追热点去凑。
当时组里已经有几篇不错的硬件工作,几个学生跟我说:“丁老师,做硬件太苦了,我们想做具身智能。”
丁文伯:你猜我怎么说?

左林右狸:你会让他们先把手上的硬件工作做好?

丁文伯:没有。我说,那你就去做。
我的想法很简单:如果你做成了,那实验室就多了一条路;如果做不成,大概率自己还会回来。结果三个月以后,学生回来跟我说,他们“做不了具身智能”。
但我一直觉得,没有必要一开始就把一个人的可能性扼杀掉。他愿意尝试,说明他对这个方向有兴趣。这可能也受我自己读书经历的影响。我的导师以前也很少直接否定我想尝试的事情。

左林右狸:学生说做硬件太苦,当时具体做什么硬件?

丁文伯:我们组从系统、材料、硅胶,到器件制备、嵌入式、算法,基本都做。
为什么很多学生更愿意做计算机视觉?因为跑代码、调参数,今天有了各种AI编程工具以后,门槛还在进一步降低。硬件不是这样,很多事情必须一点一点做出来。
以前甚至还有一条“鄙视链”:做算法的看不上做硬件的,做硬件的看不上做材料的,做材料的又看不上做化学的。
但真正做机器人以后会发现,这些东西最后都得接起来。

左林右狸:为什么一个更好的传感器,不会自动带来一个更聪明的机器人?

丁文伯:很多做传感器的人本身是硬件背景,我觉得未来这个思路必须改变。
在我的课题组里,我一直要求做软件的人尊重做硬件的人,做硬件的人也必须非常开放地和做软件的人合作。
我记得一位机器人前辈跟我说过:不要看现在大家都讲具身智能,对于真正做机械的人来说,只要给一个固定任务,他一定能把机构设计得足够好,效率甚至可以超过人。
我当时也认同这个判断。但现在做泛化机器人的人又提出了另一套思路。AI出来以后,其实所有人都在被重新教育。

左林右狸:请总结一下SSR实验室成立以来,研究方向转换的几个节点。

丁文伯:2022、2023年算第一次明显变化。
那时大家都觉得做材料、做器件太辛苦,开始想转向人工智能和具身智能。但当时组里的学生总体还是偏机械、硬件背景,真正做具身智能的能力没有那么强。
到了2024年,我开始意识到:我们已经把传感器做到了很好的水平,但一个最好的传感器,依然不会自动产生智能。可能我们过去对“智能”的理解本身就有偏差。所以从那时开始,我充分鼓励学生,也包括我自己,去学习AI,同时开始大量招做AI的学生。
2022、2023年,我们可能只招过很少的纯AI学生;到了2024年,我印象里新招的学生基本都偏AI方向。但本科是计算机,不代表真的懂AI。所以我会把一些学生送到我认为最好的团队和公司去学习,包括字节、小米等。一个学生如果本身是好苗子,只是缺某项能力,我宁愿让他先去这个领域最好的老师、最好的团队学习,再回来跟我一起做事。
我后来发现,这种方式效果很好。培养学生的目标应该是让他成长,而不是把他攥在手里变成自己的资源。
2024年是一个明显的转折。到2025年,我们进一步意识到,机器人触觉可能需要一套自己的模型。但紧接着发现,连数据都没有。所以我们又开始做数据采集。
到了今年,我更关注的是未来触觉模型到底应该长什么样。这可能是我未来三到五年最想研究的问题。
你说方向变了吗?我觉得其实没有。我不会因为今年大家说世界模型火,就马上宣布自己也要做世界模型。
今年年初很多人都在讲世界模型,我其实一直比较谨慎。
触觉是我绕了很久以后,才真正找到的一件自己特别感兴趣、也特别愿意长期做的事情。它不是因为某一年火了我才去做。只要没有特别大的外力推动我改变,我应该会一直做下去,在触觉里面继续寻找新的问题。

03 触觉智能是一种边端智能

左林右狸:对你而言,一个触觉传感器是材料器件,还是信息系统?

丁文伯:它首先是一个信息系统。我一直都是这么理解的。
大概2023年前后,我们SuperTac原型已经做得差不多了。当时我们就觉得,这项工作会成为触觉领域一个比较重要的里程碑。
无论模态种类还是系统能力,当时都没有太多人这么做,到现在我们也认为它在学术界和产业界都属于比较领先的水平。
但也是那个时候,GPT-4前后的一系列变化对我刺激很大。我每周三上信号处理课,美国时间周二晚上经常刚好有GPT的新版本或者新能力发布。结果我周三下午去上课,就会发现这个东西又变了。
连续上了一两年以后,我甚至产生一个感觉:这门课是不是都不用再这么上了。我做传感器从来没有这种感觉。传感器有人真正用起来,它才有价值;没人用,再好的性能也没有意义。
但AI和大规模数据展现出来的Scaling能力,确实非常强。所以后来我跟学生说:我们不光要造最好的传感器,还要让这个传感器产生足够多的数据。只有这样,触觉才能真正往前走。

左林右狸:纯视觉抓取的问题在哪里?

丁文伯:最直接的问题是容易出现位置偏差。比如视觉估计深度不准,机器人就可能抓不到。很像你在水下抓鱼,里面有折射、反射,看到的位置和真实位置并不完全一样。
但实事求是地讲,这些问题在很多工业场景里并不是主要矛盾。透明物体检测、透明物体堆叠,在工业和生活里的占比可能只有1%。从概率上看,大部分场景视觉已经做得非常好了。
自动驾驶也是一样。你总能找到一些特殊情况,比如全反射玻璃、强光,让纯视觉方案失效,这时候激光雷达可能更可靠。
触觉也是同样的逻辑。视觉可能已经解决了99%的问题。单靠触觉去摸一个东西,准确率未必能到90%,可能30%、40%就不错。但视觉和触觉结合,可以继续提高整个系统的准确率和安全性。

左林右狸:那触觉信息进入的是机器人决策哪个环节?

丁文伯:我认为主要有两个。
第一是防碰撞和安全。
我们现在讲可信AI,一方面模型本身要可信、稳定;另一方面,机器人真正进入物理世界以后,碰到一个物体、一个人,不能造成伤害,这种安全反馈很大程度上要依赖触觉。
第二是手内灵巧操作的后训练。
我认为触觉在后训练阶段引入,效率会比较高。预训练本身需要的数据量和复杂度都太大,所以现阶段我们更倾向于:预训练阶段聚焦通用表征与基础能力构建,触觉信息则在后训练阶段引入并深度融合,重点发挥其在灵巧操作中的反馈作用,尤其是对精细动作修正的支持。

左林右狸:今天机器人触觉最大的瓶颈是什么?硬件、数据、模型还是成本?

丁文伯:都有。
首先是传感器一致性。哪怕都是视触觉传感器,或者都是电子皮肤,同一批次生产出来的传感器,性能都可能不完全一样。结果就是,一个模型往往只能锚定某一种传感器继续训练。
所以我们下一阶段很想解决一个问题:未来能不能让不同传感器产生的数据,在进入模型以后拥有相似的有效特征。这是未来两三年甚至五年都值得解决的问题——跨传感器、跨模态、跨本体。
成本也很重要。未来如果触觉传感器能够做到非常便宜,甚至像日抛眼镜一样“一拉即用,用完即抛”,也是一种可能。
从第一性原理看,人类触觉的信息量没有视觉那么丰富,但效率非常高。现在的问题是,如果直接把触觉和整个视觉模型融合,要么产生大量冗余,要么关键触觉信息反而被淹没。这个问题我现在也还在思考,实话说。
短期我们会采取一个折中方案:先把某一种多模态触觉传感器或者触觉方案做好,再和现有模型融合。
但从长期来看,我认为触觉可能需要一套自己的模型和逻辑,更像人的脊髓,或者一套低层级、快速响应的神经系统。

左林右狸:触觉数据最小基本单位是什么?

丁文伯:这是一个好问题。但我现在反而觉得,不应该急着用“最小单位”去定义触觉数据。
我们更关注的是,触觉数据到底应该怎么做表征和嵌入。最近我还准备找一些做神经科学的老师一起研究这个问题。如果只从物理意义上讲,一个像素上有多大的力、温度是多少、有多少剪切力,这些当然都可以作为基本信息。
但真正转成机器人能理解、能用于控制的信息以后,最后有用的东西可能反而是一个等效六维力。手掌上可以布很多触觉传感器,真正进入操作和感知模型以后,哪些信息才有效,这是另外一个问题。
早期很多做机器人控制的人会说:你不用给我触觉,只给我关节六维力,我也能做精准控制。
我觉得这里中间一定还有差距。所以我现在不急着定义“触觉的最小基本单位”。你今天定义完,明天可能就有人做出新的东西把它推翻。

左林右狸:不同传感器、不同材料、不同机器人产生的数据,怎么统一?

丁文伯:我们最近有一些初步想法。
比如先找一些和具体传感器无关的参数,把不同传感器的数据转换成某种共同的信息,再进一步研究一些二阶参数。这样可以尽量减少传感器校准误差,以及不同传感机理造成的差异。
这部分研究还比较早,也比较前沿,现在不太方便讲太多细节。但我觉得这个问题非常值得做。

左林右狸:触觉数据质量应该怎么评价?怎么判断一组数据有没有训练价值?

丁文伯:最直接的标准,就是它到底能不能训出一个有用的模型。比如完全不用视觉,只靠触觉,机器人能不能完成一些任务。如果能做到,这就是一个很直接的评价。
真实采集过程中,也会遇到明显的问题。比如我们明明知道某个位置没有发生接触,但传感器突然产生了信号。从模型训练的角度看,这就是比较脏的数据。
但我还有一个比较激进的观点:人类并不是靠绝对精准来做事情的。比如妈妈让你练毛笔字,不可能要求你每一次落笔都精准到同一位置偏差小于毫米。
很早以前,有几家做大模型训练的公司跟我们提要求,说你的触觉数据必须精准到亚毫米,我们才能训练。我当时就在想,那可能是因为模型本身还不够强,所以才对数据精度要求这么高。
我们现在越来越认为,数据的高质量、多元化和多模态,比“绝对精准”和“全覆盖”更重要。同一个动作,每次采出来的数据都可能不一样。但重复训练以后,模型反而可能自己学到:哪些变化不重要,哪些信息才真正关键。这种差异性本身可能就是有价值的。
所以,高质量不意味着完全一致,也不等于高精度。当然,现在模型能力有限,数据量也有限,所以高精度仍然是一个现实问题。
但我一定不认为:高精度等于高质量。

左林右狸:你之前提到说触觉未来可能需要自己的模型。触觉原生智能和视觉、语言的原生智能,根本区别在哪里?

丁文伯:这个问题我最近确实认真研究过,还专门找了一些神经科学、神经调控的老师讨论。
从大脑机制来看——我说得不一定完全准确——视觉感知更多依赖大脑皮质层,它能够承载非常丰富的信息。但现在有一些研究认为,人类和动作、导航、跌倒平衡、操作相关的能力,可能还依赖更深层的大脑结构。
他们给我看过一个经典实验:去除一只小猫部分皮质层以后,它可能无法很好地感知颜色或者复杂视觉信息,但依然可以在迷宫里穿梭,甚至跳跃。
所以我觉得这至少说明一件事,触觉代表的不只是“另一种感知模态”,它和运动能力、空间交互能力绑定得非常深。未来它可能需要和视觉系统分层,甚至形成一套相对独立的架构。
还有一个更直观的例子。人跌倒的时候,会本能地伸手撑住。你甚至还没有意识到发生了什么,身体已经完成了反应。所以我认为,触觉未来一定会往边端走。你可以叫边缘计算,也可以叫边端智能。
触觉的感存算一体,甚至可能比视觉更加迫切,因为它追求的是高效、快速和低延迟。而且触觉数据本身没有视觉那么丰富,所以触觉模型也不应该简单照搬视觉路线。
我觉得至少有几个要求:轻量化、解决学习冷启动,以及更强的泛化能力。

左林右狸:那你怎么看现在的VLA?它最明显的能力边界在哪里?

丁文伯:我不太愿意给VLA划一个特别明确的能力边界。因为你今天说“边界在这里”,很快就会有人证明它还能继续往前走。
但有一点比较明确:现在的VLA在很多任务上,还做不到像人一样自然,尤其是灵巧操作。夹爪相对容易,因为动作空间比较简单;但灵巧手自由度一高,动作复杂度和自然程度就会明显上升。
现在也有很多人在研究VTLA(在VLA基础上引入触觉tactile),也就是把视觉、触觉、语言和动作结合起来。但也有人跟我吐槽,一加触觉,原来的VLA反而“崩了”。
有人问我,世界模型和VLA到底哪个更强,甚至有人说不应该做VLA,应该直接做世界模型。我对这种说法持否定态度。
VLA是一个蛮solid的逻辑,像早期Transformer(一种深度学习架构)、diffusion policy(扩散策略)一样,一定会在具身智能(历史)长河里留下浓墨重彩的一笔。

左林右狸:为什么对世界模型持否定态度?

丁文伯:(震惊)因为它是个概念啊。
它有点像元宇宙,像spatial intelligence(空间智能),它不是一个technical的代名词,而是一类能力,比如prediction,基于现在状态预测。但早期的Markov decision policy(马尔可夫决策策略)、reinforcement learning(强化学习),也可以做类似事情。那你说,它到底要不要叫世界模型?

04  我们想做好可信物理智能真实落地的生意

左林右狸:第一次认真产生成立公司的想法是什么时候?

丁文伯:2025年年初。

左林右狸:当时是遇到什么学校解决不了的问题吗?

丁文伯:主要有两个。
第一,算力不够。在学校里做一些事情,卡就是不够。
第二,我本身也一直比较关注工业界,因为我们做的很多研究还是偏工程。那时候已经有一些学生被我们送去企业实习。
另外还有一个契机。当时有一家现在估值已经进入行业前三的具身智能公司,希望邀请我去做首席科学家,邀请我的也是很好的朋友。
我想了很久,最后觉得,与其去成熟的公司做首席科学家,不如尝试 0-1重新创办一家。

左林右狸:你、熊祺、陈天行三个人最初怎么分工的?

丁文伯:最开始,熊祺主要负责公司运营,天行负责模型交付和评测,我更像是负责一个前沿研究团队。
学校里的一些知识产权和正在做的研究,需要明确区分。有些工作太前沿,不适合直接放进公司,就继续留在学校;有些工作已经相对成熟,可以进一步产业化。
也有一些学生愿意到公司实习,所以学校和公司之间会有这种人才和研究上的互动。
当然,我过去的经历决定了,我也不是一个典型意义上只做研究的研究者。所以在公司里,商业拓展和战略制定,我和熊祺也都会比较深地参与。

左林右狸:你们提出了“慢脑 VLM—快脑 VTLA+TWAM—脊髓 VTA”三层协同架构,分别负责高层认知、物理执行及安全兜底。这个灵感是来自生物神经系统,还是自动驾驶里面的一套分层架构,感知、决策、控制?

丁文伯:都有。熊祺是自动驾驶背景,过去在蔚来做过交付,对自动驾驶里的安全架构比较熟悉。
但“脊髓”这个概念是我提出来的。自动驾驶里可以用独立的主动安全系统做防碰撞,但具身智能不一样。机器人很多任务的前提就是要发生接触。
既然一定会碰,就必须有一个“脊髓级”的系统,在接触发生以后快速反应。
我一直有一个触觉类脑计算的想法。未来触觉应该有更高效的底层计算逻辑,它和视觉大模型之间,可能需要有一个比较明确的层级区分。

左林右狸:那触觉信息在这套架构里进入哪一层?

丁文伯:主要是两层。
首先,触觉不是“慢脑”的核心。慢脑更多负责语义理解、高层认知和想象,可以类比人的大脑皮质。
触觉首先进入“快脑”。因为快脑要做灵巧操作,尤其是长程任务里的灵巧操作。如果没有触觉,很多真正发生接触的任务就很难完成。
但到了“脊髓”这一层,触觉是核心。遇到危险要及时躲避,物体快掉了要迅速抓稳,这些都需要触觉。
所以大概是这样一个分层:脊髓追求极致的快,不要求信息特别丰富;快脑需要更丰富的多模态信息;慢脑更多负责思考和理解。
比如拧魔方、摆杯子、摆盘子,真正操作的时候要靠快脑和触觉;慢脑更多决定你为什么要这么做、下一步做什么。

左林右狸:脊髓VTA,它和传统工业机器人里面的力控急停有什么区别吗?

丁文伯:传统力控或者急停,我理解更多还是基于比较简单的等效量,比如单点力的大小。这和过去传感器能力、处理能力有限有关,所以系统只能关注少量信息。我们设想的VTA或者“脊髓级”系统,前提是能够获得更丰富的触觉信息。
当然,我不会简单说两者完全不一样。很多科学和工程思想本质上是相通的。
区别主要在信息丰富度。脊髓VTA拿到的不只是力,也可能包括温度、滑动、接触状态等信息,它本质上是一种多模态触觉系统。

左林右狸:为什么市场需要第三方具身模型评测?

丁文伯:评测其实分两类。一类是模型量产交付、或交付到具体场景应用时做的质量评测,这是质量管理问题,交付团队自己就要做好,就像工厂的出厂检验,不需要别人替你做。
真正需要第三方的是另一类:横向比较不同团队的模型和算法。这就像比赛,自己既是运动员,又是裁判员,显然不合理,必须有独立的第三方来保证公平。汽车也一样——每家车厂都要做自己的质检,但安全星级要由独立机构来评,不然每家都说自己的车最安全。
我们现在把这类评测放在独立的第三方非营利组织里,也是希望通过评测建立一个共同生态,减少行业里一些没有必要的重复竞争。

左林右狸:现在收入占比较大的业务是数据还是整机?

丁文伯:我们的主要业务是原生触觉模型和整机服务,我们希望做好可信物理智能真实落地的生意。数据作为模型训练的infra,我们也有一定的商业化探索。

左林右狸:数据采集的成本最大在哪一块?

丁文伯:目前最大的成本还是硬件。因为我们还在重新定义下一阶段的触觉硬件到底应该是什么,所以现阶段没有特别着急压成本,而是尽量使用最好的传感器先把数据做出来。
我们现在首先考虑的不是怎么把传感器做便宜再卖出去,而是先把方案跑通。

左林右狸:你们的数据和其他公司有什么优势?

丁文伯:一个比较重要的点是,我们自己懂模型。因为懂模型,所以会更清楚什么样的数据真正有训练价值,目前交付效率会比较高。
比如客户采购100小时数据,提出一套标准,最后可能有90%的数据真正有效,这种交付效率我们是可以做到的。有些情况下,行业里采100小时数据,最后可能只有20小时真正能用。
这跟我们长期做评测也有关系。评测让我们能够比较平等地看到不同模型各自的长处和短板,也会逐渐知道什么样的数据对什么样的模型更有效。
这种能力反过来会加深我们对数据的理解。

左林右狸:你认为Xspark AI和其他公司相比,竞争优势、劣势分别是什么?

丁文伯:我一直承认,市场上的很多团队都很强,每一家都有自己特别突出的地方。
如果说我们有什么特点,我觉得首先是三个创始人的想法比较同频,彼此之间信任也很强。
天行很年轻,身边聚集了一批非常优秀的年轻学生,这些人是真的会为了技术本身去追求极致。我在清华待了比较久,也有很多学生愿意跟着我一起探索一些未知的问题。熊祺过去在不同公司、不同阶段都做过事情,很多人是认可他的能力以后,愿意降低原来的薪酬水平加入我们。
技术上,我也相信团队是有竞争力的。
我跟熊祺说过一句话:我们只要“意念合一”,很多困难都能克服。如果一定要说不足,可能就是我们三个都不太擅长宣传,显得没有那么“吸引眼球”。
雷峰网 雷峰网

预告


关于丁文伯,左林右狸还准备了另一篇《我所知道的丁文伯》。相比这篇对话聚焦触觉智能,另一篇更关心他一路走来的那些偶然与转折:2010年,他如何错过汤晓鸥的一次选拔,后来回看仍觉得是个“很stupid”的决定;赴美访学期间,又如何在一个圣诞节偶然重逢王中林团队的高中师兄;以及在不同阶段,哪些老师、同学和合作者真正改变了他的研究选择与人生走向。

(欢迎添加作者微信:lqy4605)

我们欢迎所有能为左林右狸提供新观点新角度新信息的群友,加入我们的实名制社群,与左林右狸一路同行。管理员微信号:leiphonelinli,备注公司-职位-称呼通过更快。

相关视频

往期推荐

对话斜跃创始人陈伟:把天花板拉高再捅破,进入家庭是一场「无限游戏」


具脑磐石朱森华:仅有海量数据堆不出像人一样聪明的机器人|世界模型50人


我所知道的张磊:一场MSRA赛马与半个中国AI江湖


Source: 雷峰网 RSS(科技行业示例)

This article is reproduced from the source above for industry information sharing only and does not represent the views of this site. If any content or image infringes your rights, please contact us and it will be removed promptly.

🎁 WELCOME GIFT Sign up & get $500 cash coupons Never expire Claim now ›
Chat on WhatsApp