具身智能是过去一年中和 LLM 相同受到市集高度闭怀的界限，通用呆板人界限什么工夫会显露 “iPhone 时辰”？这是完全人都闭怀的题目。拾象团队正在过去一年中也深度追踪通用呆板人和呆板人 foundation model 的希望。本篇著作是咱们对呆板人界限研商的开源。

　　相较于 LLM ，通用呆板人的发达或者是个更长远的事宜，正在这个漫长的历程中，明星 researchers、胜利一口吻创业者所组筑的团队更有机缘获取充裕的资金和资源增援。其余，环球畛域内顶级 Embodied AI researchers 并不多，这也让 Embodied AI 界限的角逐非凡人才导向，所以，咱们也对赛道内紧急公司的人才储存情状举行了周密梳理。

　　除了创业公司，Tesla 同样也是通用呆板人界限软硬件归纳势力极强的选手。本年 6 月，Tesla 仍然正在德州的 Giga 工场铺排了 2 台 Optimus-Gen2 呆板人来自帮施行做事。动作 AGIX Index 组合中的紧急公司，Tesla 正在 FSD、Robotaxi 以及 Optimus-Gen2 的归纳构造让它成为物理全国 AGI 的闭节脚色。

　　Robot Learning 是 AI 和呆板人学科交叉的一个研商界限，它是指呆板人通过进修算法获取新手艺或顺应新境况的手艺，进修算法所针对的手艺闭键包含感知运着手艺以及互着手艺。Robot Learning 念要管理的主题题目是让呆板人可能自身学会施行百般计划把握做事，也即是咱们即日常提到的一个观念——通用呆板人。

　　与 Learning 相对的是呆板人的古板把握。正在古板把握中，呆板人的运动往往通过筑模辨识、计划或把握这几个措施来告终，也即是说呆板人的运动倚赖呆板人专家手动编程告终。手动编程的格式能使呆板人正在构造化的境况下速捷告终安定牢靠的运动，目前大部门适用的呆板人加倍是工业呆板人都是靠这种格式获取运动才华。

　　然而，1）为多组做事编程特地贫寒，2）并非完全情状和宗旨都是可猜念的，3）实际全国的境况平凡利害构造化的和繁复多样的。所以，正在某些场景中，原先基于手动编程的格式将不再实用，奈何使呆板人正在繁复的非构造化境况中活跃自正在地运动成为呆板人研商界限最紧急的课题。人类能正在现实的非构造化境况下举行活跃的运动是因为咱们从幼到大不停地进修，通过 learning 的格式使得呆板人获取运动才华是替换古板手动编程格式的一个紧急宗旨。

　　之前，Robot Learning 和通用呆板人研商闭键正在学术界举行，其后正在物业界和血本市集受到闭怀闭键受到了下列一系列变乱影响：

　　• ChatGPT 问世后，微软、Meta 等大厂也接踵揭晓闭联研商，既点燃了市集对呆板人的 ChatGPT 时辰的希望，又有对通用呆板人的热忱。

　　• 一个根基模子：呆板人所须要的顶层的感知、懂得、推理才华（high-level），以及底层把握才华（low-level）均包括正在一个根基模子中，底层把握才华能够简易懂得为“施行”、“与物理全国交互。

　　• 泛化性：一方面指呆板人通过进修，能够正在非构造化境况中胜利施行任何指令和手脚；另一方面指一个呆板人根基模子能够适配完全硬件。

　　• 天然讲话交互：人类能够操纵天然讲话与呆板人交互，给呆板人下达指令，而非通过硬编码的格式。

　　因为 high-level 层面希望急忙，且跟着 LLM 的 scaling law 被验证，呆板人科研界起首试验用数据管理 low-level 层面的题目，包含呆板人数据、多模态数据、仿真数据，分别手艺门途对各式数据的需乞降配比分别。

　　正在 2023 年上半年，学术界和物业界广泛对通用呆板人的 ChatGPT 时辰抱有较大希望，2023 年 7 月 Google RT-2 揭晓更是引爆通用呆板人海潮。2023 年第三季度是一个无有趣的岁月节点，对付物业界和血本市集而言这是大浪起来的一个紧急“拐点”，无论是中国仍是美国该界限很多创业公司拿到大额融资，也陆连续续有新的创业公司显露，此前对硬件不感有趣的美国投资人也起首闭怀这一界限。但对付极少较早正在该界限搜索的公司和 researcher 而言却更像是碰到了瓶颈。

　　从 2023 年 Q3 起首，硅谷良多主题 researcher 和物业界最主题的公司和团队对 low-level 题目逐步持肃静和落后｜后进立场，之前认为沿着 scaling law、诈欺洪量的互联网数据如视频数据能很速迎来 tipping point，但从实行结果作为效并不睬念，实行的牢靠性和安定性较差。有部门 researcher 展现要胜利做出呆板人的 foundation model 仍须要特地洪量的实际全国呆板人数据，而非洪量互联网数据加上少量实际全国的呆板人数据即可告终，目前全国上完全的呆板人数据并不多，网罗数据须要更长的岁月和更高的本钱。又有 researcher 展现呆板人的 foundation model 须要新的架构，须要更底层的算法打破，正在现有架构下对数据举行洪量投资未必能看得手艺打破。

　　很多顶尖研商机构和头部公司的专家均展现，从岁月维度看，通用呆板人或者是个短期内无法告终的事，从软件层面看，过去一年手艺前进虽速，但隔断一起首盼愿的正在家庭场景或工场场景做到全体通用这一宗旨仍异常遥远。咱们即日看到的良多很惊艳的、能做良多事宜的呆板人 demo 现实上是正在一个相对构造化的境况中演示，现实的左右才华并没有抵达所谓“泛化”，例如将现场灯光调暗，或将呆板人须要拾起的物品换一种色彩、换一个摆放地方，呆板人大致率就无法已毕指定做事。

　　通用呆板人软件层面最当先的是 Google，软硬件归纳才华最强的目前看来是 Tesla，两家公司对付奈何走向通用呆板人途径也不太一概。Google 崇奉的途径是一个呆板人 foundation model 能够适配完全状态的硬件，可能正在职何场景下做到通用性、泛化性，也即是上文提到的呆板人 Foundation Model 的界说。而 Tesla 则方向于一个 foundation model 难以适配完全硬件，尽管能够适配，安定性也不会太好，不会抵达可现实落地、可大界限铺排的程度，所以更可行的门途是先界说好硬件和产物状态，再针对特定硬件调度算法参加 AI 才华，软硬件同步迭代。

　　没有成熟、刚需的场景是通用呆板人面对的最大题目之一。从手艺角度看，磨练通用呆板人的根基模子须要洪量数据，网罗洪量数据最好的手法是有大界限的呆板人被铺排和行使正在现实场景中，而念要大界限铺排呆板人又须要找到一个能足够再现和发扬呆板人代价的场景，如许客户才会大界限采购，大界限采购和行使能力网罗大界限数据，这个飞轮能力转起来。主动驾驶也是通过如许的途径慢慢告终泛化，但汽车出行自身即是一个特地成熟且刚需的场景，车也不是一个全新的东西，需乞降产物状态都仍然特地安定。但即日的通用呆板人没有如许天然且刚需的场景，也没有安定的产物状态。

　　目前民多正在试验的场景包含：安防巡检；工场功课；家庭明净；客栈明净；超市零售拣货补货；药房捡药等等。大无数公司抉择先从 2B 场景切入。也有公司以为场景未必由呆板人公司 figure out，目下最紧急是把产物界说好，把呆板人智能才华擢升至肯定程度，把本钱低落，把呆板人卖出去，也许用户就能自身找到无旨趣的场景。

　　呆板人数据不敷也是通用呆板人面对的一大题目。这里的呆板人数据指呆板人与实际全国交互的数据。除了真正将呆板人铺排至现实坐褥境况中、现实操纵以表，呆板人数据网罗格式还包含以下几种：

　　•人类 teleoperate 呆板人做做事：能够是长途也能够正在现场。呆板人获取 camera、马达，以及 action 三类数据。这种手法网罗的数据最全，所以成效也最好，但也是最贵的。这个宗旨的经典案例是本年很火的开源项目 ALOHA。

　　•通用操控接口（UMI）：UMI 通过手持夹具和谨慎策画的接口告终数据网罗，通过算法反推呆板人该当奈何做沟通的做事，不须要呆板人看数据。这种手法本钱更低。

　　•纯视觉网罗数据：通过戴眼镜或者犹如的格式网罗数据，但正在学术界看来，如许网罗的数据有效但也有较大控造性。

　　多模态对呆板人研商的影响闭键再现正在多模态懂得上，多模态天生目前没有对呆板人研商爆发直接影响。而多模态懂得对呆板人的影响又闭键再现正在视频数据懂得上，即呆板人通过懂得视频数据进修常识和手脚。Google、Tesla 都正在此途径前举行搜索：洪量的视频数据 + 少量实际全国数据去磨练呆板人的 foundation model。假若该途径能跑通，则多模态懂得对呆板人的 foundation model 有很大帮帮。

　　以上是从手艺和物业视角举行阐发，从投资视角看，咱们对呆板人紧急细分赛道的投资机缘决断如下：

　　这类公司的宗旨是做出拥有通用才华、能已毕多项做事的呆板人，平大凡自身开辟硬件+AI，或者正在现有硬件根基上加上AI。硬件以人形呆板人工主，也有部门公司抉择轮式或四足+双臂+聪敏手的状态。须要团队具备软硬件归纳才华。贸易形式是向 B 端或 C 端发售带有智能才华的完善的呆板人。

　　从投资角度看，此类公司贸易代价最高，但告终难度大，目前仍处正在 research 阶段，research 中的 low-level 题目何时能管理是个未知数，尽管管理，从 research 走到大界限贸易化还要源委漫长的产物界说、场景界说、量产、降本钱、GTM 等阶段。所以，从投资角度看，正在 research 阶段进入或者带来较多不确定性和血本服从较低的题目。对付团队而言，除了基础的产物界说才华、AI 才华、供应链才华、发售才华表，融资才华正在这个漫长的周期下也显得尤为紧急。

　　这类公司将大部门或所有精神放正在研商呆板人的 foundation model 上，贸易形式是向硬件厂商或归纳型厂商供应 API，或通过项目造与它们协作。团队平凡来自顶级 Embodied AI 实行室，如 Google DeepMind 的呆板人团队或 Stanford、Berkeley 等顶级院校。此类公司同样会晤对上文提到的完全的科研题目，但他们也是最有势力管理这些题目标团队。

　　与 Google、Tesla、Nvidia 等至公司比拟，这类创业公司的资源和 infra 或者是短板，所以也须要团队有较强的融资才华，同时谨慎补齐工程和 infra 才华。从投资角度看，此类公司正在美国有较大投资代价，主题 thesis 是人才。因为环球顶级 Embodied AI researchers 不多，而美国的收并购境况又较好，当越来越多大企业或古板企业闭怀 Embodied AI，收购的机缘就越来越大，可参考主动驾驶和 LLM 的收购征象。

　　这一界限最有角逐力的玩家多为中国公司，最 PMF 的市集是科研市集。受益于中国的供应链和创造才华，不少中国公司可能正在短岁月内筑造出本能好同时本钱低的呆板人硬件，卖给环球顶尖呆板人、AI 实行室。

　　从投资角度看，可能把硬件做到极致的公司有肯定投资代价，但从 upside 看，须要开采更多场景，找到更多贸易化途径。一方面科研市集界限有限，跟着进入的玩家变多，每一个玩家能分到的市集份额变幼。同时，受国际相闭影响，部门高代价区域他日进入难度变大，这部门市集界限正在萎缩。所以，很多原来更夸大硬件势力的公司也纷纷向软硬一体、归纳型公司转型。

　　通用是一个思绪，笔直场景也是一个思绪。比拟于通用，笔直场景的呆板人确定性更高，代价也未必更低。过去被足够验证的手术呆板人、仓储呆板人、扫地呆板人等属于笔直场景的非通用呆板人。它不央浼呆板人正在完全场景下都有泛化才华，也不央浼呆板人的产物状态可能已毕良多手脚，而是正在特定场景管理特定需求、特定题目即可。即日加了 AI、LLM、多模态等才华后，哪些原有场景代价有明白地擢升，又有哪些新场景被开采出来，也是很值得闭怀的一个宗旨。

　　上文提到呆板人的 foundation model 目前的闭键瓶颈正在于短缺呆板人数据。跟着呆板人闭怀越来越高，越来越多公司插足到呆板人的研发中，对呆板人数据的需求正在极速上升，所以呆板人界限也有成立新的 “Scale AI” 的机缘。闭于主流的几种数据网罗格式咱们正在上文也仍然提到。

　　从团队角度看机器人，呆板人界限的 Scale AI 的理念的团队画像须要具备以下才华：

　　•有懂运营的人才。由于网罗数据、执掌数据、搭筑整套数据执掌系统、人才管造等都须要有成熟的 operate 才华；

　　•有认识通用呆板人的 researcher，认识工业界、学术界的需求，并能连续跟进需求。

　　除了 Tesla 的 Optimus 以表，该界限绝大部门公司都还相对早期。如上文提到，这个阶段创始团队成员布景是举行投资决断的紧急目标，而且跟着通用呆板人界限的爆火，不乏明星 research、一口吻创业者参加该界限创业，所以咱们对紧急公司的主题成员布景也举行了周密梳理。

　　Tesla 呆板人团队是目前来看归纳势力最强、计谋计划最明晰的团队。门途上，宛若咱们上文提到的，Tesla 更方向于以为一个 foundation model 难以适配完全硬件，所以他们抉择先界说好硬件和产物状态，再针对特定硬件调度算法参加 AI 才华，软硬件同步迭代。Tesla 估计将于 2025 年起首量产人形呆板人，将有抢先 1000 个呆板人正在 Tesla 工场已毕做事，长远宗旨是把呆板人卖给一面。

　　比拟 Gen1，Gen 2 的步行速率降低了 30%；重量减轻了 10 公斤，呆板人行走形式也越发安定。Gen 2 采用了所有由特斯拉自帮策画和创造的施行器和传感器；装备了全新的双手，可能抓握更重的物体并举行越发精巧的操作。

　　Figure AI 缔造于 2022 年，宗旨是策画能够行使于人类境况的通用型呆板人，让呆板人能够施行百般分另表做事，可为创造、物流、仓储和零售等多个行业供应帮帮。

　　CEO Brett Adcock 是一位一口吻创业者，有 20 年的创业体会，正在过去 15 年中平素正在创筑软件和硬件公司。2022 年，正在上一家公司 Archer 正在纽交所上市 9 月后，Brett 创立了 Figure。

　　Figure 目前有 80 名全人员工，团队成员闭键来自波士顿动力、Tesla、Google、Standford、Lucid、Apple、IHMC 呆板人实行室以及丰田等顶尖企业和高校。

　　Figure 的宗旨是开辟出能够施行通用做事的呆板人，目前仍然推出人形呆板人产物。

　　Figure 的人形呆板人重 60 千克，有用载荷 20 千克，身高 5 英尺 6 英寸，运动速率 1.2 米/秒，运转岁月 5 幼时。其余，该呆板人还能负重举起 30 公斤、约合 66 磅的物品，动作对比，美国职业安笑与强壮管造局原则的人类员工合法举起的最大重量是 51 磅。Figure AI 正正在开辟可能以人类程度操作物品的双手。

　　Figure 抉择电动马达而不是气动马达为呆板人供应动力。电动马达的上风正在于续航岁月，之前的人形呆板人大凡只可一口吻就业 1-2 个幼时。Figure 的呆板人假若充电 15 分钟，能够就业 1.5 幼时，充电 40 分钟就能就业 4 幼时，能够较容易地餍足每天就业 8 幼时的央浼。呆板人能够主动停靠充电。

　　Figure 正在将聚焦三个核心行业来开辟通用呆板人，由于分别界限成熟度之间存正在不同，因而正在 roadmap 上有分别优先级，短期内 2B 场景的劳动力需求是 Figure 闭怀的核心：

　　公司初期将核心闭怀美国劳动力欠缺的企业行使场景，包含创造业（1300 万个就业岗亭）、物流业（200 万个就业岗亭）、仓储和配送核心（500 万个就业岗亭）以及零售业（3200 万个就业岗亭）。

　　• 栈房具有构造化的境况，比方物品的 SKU 数目、地方、重量、尺寸、何时起首、须要运往那边、位于那边等悉数新闻 ；

　　• 无需与人举行过多的交互，栈房有成熟的管造体系，从拆箱到发货都能全程跟踪发出呆板指令，无人化水准高，利于尽速落地；

　　• 仓储业是全美工人流失率最高的行业之一。全美均匀工人流失率为 3.6%，而仓储业流失率是 37%，这个界限长远存正在缺勤和工伤题目。

　　环球有 23 亿个家庭，7 亿老龄人丁须要居家养老任职。他日，公司生机人形呆板人可能协帮人类做家务和跑腿。但是这是长远宗旨，公司以为假若以居家任职动作起始倒霉于速捷界限化量产，由于居家场景：

　　公司策画正在他日协帮太空搜索。太空搜索是一项危机的就业，而呆板人能够正在阴毒的条目下很好地就业，所以对付太空经济来说，呆板人将是一个理念的大界限劳动力管理计划。但较着这个愿景还很远。

　　正在贸易形式上，Figure 抉择租赁了而不是直接出售整机，因为目前呆板人单机本钱太高，也没有特地成熟的落地场景，抉择订阅和租赁的格式能够把单次操纵本钱低落，对用户和客户而言是更好继承的格式。公司正在收费方面的宗旨是每个呆板人的年收费从 5 万美元到 10 万美元不等，最低价值基础和一名流类工人本钱等齐。

　　假设一名工人每幼时均匀工资为 23 美元，一个平淡的栈房运营中或者以 8 幼时为一个班次，按每个月 22 天就业策画，每年每位栈房工人为资约莫 4 万 8 千美元，而呆板人的工时是工人为时的两倍以上，其余，蓝领工人欠缺、工资不停上涨是美国近几年的广泛征象，直接带来了呆板人的需求。

　　1X 创立于 2014 年缔造机器人，开辟人形呆板人软硬件，呆板人具有近似于人类的能量密度、体型和运动畛域，能够正在贸易安笑、零售、物流和医疗保健公司铺排，他日将会正在消费级铺排。

　　1X 由 Bernt ivind Brnich 于 2014 年正在挪威开创，最初公司名为 Halodi Robotics，旨正在创造通用呆板人来执掌劳动茂密型做事。2018 年，公司开辟了全国上扭矩最大的重量驱动伺服电机呆板人 Revo1，Revo1 是一款低齿轮比的呆板人，能够仿效人类的肌肉运动。2019 年，公司正在旧金山筑树了第二个总部。2020 年公司与 Everon 协作，缔结了铺排 150-250 个呆板人正在美国贸易兴办中举行夜间守护的合同。2022 年，公司有了庞大打破，与 OpenAI 协作，并起首寻求借帮人为智能模子来为其呆板人减少智能。公司引入了讲话模子和完全的进修模子，使呆板人可能懂得用户用天然讲话提出的央浼，并正在进修的历程中施行做事。

　　EVE 是一种仿人呆板人，它靠一对轮子行走，既能懂得天然讲话，也能懂得物理空间，现已上市。该呆板人闭键用于物流方法和工场等工业境况：比方，正在工场中施行做事、正在创造业中协帮后勤就业、动作巡缉警告正在兴办物中导航和寻视等。目前，EVE 仍然正在多个企业和构造中铺排（大致 70 个 EVE），用于搬运设置、开门和施行订单等工业做事，同时可能天然地正在非构造化和构造化空间中挪动。

　　正在进修方面，呆板人从演示中进修。EVE 可能通过察看人类施行做事的格式来进修新做事，并复造就业流程。其余，内置的人为智能软件还能懂得天然讲话指令。受到主动驾驶汽车的启示，公司的数据网罗手法与古板的编码和预订算法有所分别。通过操纵 VR Teleop，操作员开导呆板人察看分另表实际全国场景，供应对做事难度和可行性的直观懂得。当数据被大界限网罗时，呆板人就学会了一项新手艺。

　　正在硬件方面，EVE 的完全硬件组件简直都是自身策画的。该呆板人操纵一系列内部电机为其运动供应动力，越发活跃和高效。这些电机不包含任何齿轮，齿轮正在供应动力的同时，会减少重量，低落天然动力，妨害活跃性机器人。1X 的呆板人已胜利开辟出无需操纵齿轮即可抵达人类肌肉约 80% 力气密度的电机。同样，接连呆板各部件的内部电缆也是基于定造策画。这些电缆删除了 EVE 务必装配的传感器数目，从而低落了创形本钱。其余，传感器数目标删除还为呆板人底盘内的其他组件留出了更多空间。

　　正在通用才华方面，1X 通过策画让呆板人能够要求人类干涉繁复做事。比方，EVE 能够自帮巡缉方法，但正在碰到不测情状（如门被遮住）时或者须要人类的帮帮，如许不光能为客户供应了直接的适用性，还创建了一个数据反应回途，帮帮呆板人不停进修和气应。

　　NEO 是正在就业和家庭中的双足人形呆板人，既能懂得天然讲话，又能懂得物理空间，目前正正在开辟阶段。与 EVE 分别，NEO 不是靠轮子行走，而是步行。它的最高速率略低于 EVE，电池寿命也较短，身高也比 EVE 低。但 NEO 具有更先辈的呆滞臂，能够施行更平常的做事。

　　NEO 擅长安笑、物流、创造、操作呆滞和执掌繁复做事等界限的工业做事。从深远来看，公司设念 NEO 可认为家庭供应有代价的帮帮，已毕明净或料理等家务。1X 还正在研商奈何让 NEO 为举动未便的人供应增援。NEO 同样能够被长途把握。

　　• Chelsea Finn：斯坦福大学策画机科学与电子工程系的帮理传授，她的实行室 IRIS 研商通过大界限呆板人交互告终智能正在 Deepmind 担负 Research Scientist。她的研商闭键聚集正在让呆板人和其他 agents 通过进修和互动发达平常智能作为的才华。

　　•Lachy Groom：Stripe 的第 30 号员工，同时也是一位天使投资人。依照 pitchbook 的数据，他正在 2021 年已毕的第三期一面基金界限 2.5 亿美元，这是 Solo VC 的第三大募资纪录。Lachy 正在团队闭键担负融资。

　　除此以表，创始团队成员还包含 Suraj Nair 和 Quan Vuong。Suraj Nair 正在斯坦福大学人为智能实行室获取了策画机科学博士学位，取得 Chelsea Finn（公司团结创始人） 和 Silvio Savarese 传授的配合指引。Quan Vuong 是加州大学圣地亚哥分校的博士生，攻读博士学位岁月正在 Google DeepMind 的呆板人团队试验。

　　-2016 年 1 月至 2018 年 3 月，Abhinav Gupta 正在谷歌兼职照料，为策画机视觉和大界限视觉进修项目供应指引，并向导了一个操纵 JFT-300B 图像进修大型模子的项目。

　　-Deepak Pathak 研商与策画机视觉、呆板进修和呆板人闭联的人为智能课题，并从动物认知和生物学中吸收灵感。终极宗旨是创造出拥有犹如人类才华，能正在实正在而多样的境况中举行泛化的呆板人。

　　-曾是 VisageMap Inc. 的团结创始人，并正在微软担负过研商试验生；机器人通用呆板人是AI时间的新“iPhone”吗？