2024年GTC大会上,英伟达还发布了一款基于NVIDIA Thor系统级芯片(SoC)的新型人形机器人计算机Jetson Thor.Jetson Thor是一个全新的计算平台,能够执行复杂的任务并安全、自然地与人和机器交互,具有针对性能、功耗和尺寸优化的模块化架构
该SoC包括一个带有transformer engine的下一代GPU,其采用NVDIABlackwell架构,可提供每秒800万亿次8位浮点运算AI性能,以运行GROOT等多模态生成式AI模型。凭借集成的功能安全处理器、高性能CPU集群和100GB以太网带宽,大大简化了设计和集成工作。以「Google RT-2」为代表,通过一个神经网络完成从任务目标输入到行为指令输出的全过程。首先在大规模互联网数据预训练视觉语言模型,然后在机器人任务上微调,结合机器人动作数据,推出视觉语言动作模型。RT-2不仅负责最上层的感知与规划,还参与中下层的控制与执行,打通了端到端的链路。端到端模型的缺点是:训练数据海量、消耗资源巨大、机器人执行实时性差.
本文来自知之小站
PDF完整报告已分享至知识星球,微信扫码加入立享4万+最新精选报告
(星球内含更多专属精选报告.其它事宜可联系zzxz_88@163.com)
