英伟达花200亿美元买的东西，一家中国芯片公司想换个做法
10月25日，熵旋芯智在公众号发文，正式提出了首代MRAM存内计算架构——MITA（MRAM In-Memory Tensor Architecture），并以此为架构基础，提出存算一体处理单元——MPU（MRAM-based Processing Unit）——的定义。 它们的用途，是为AI推理构建更低延迟、更高通量的算力。 一个月前，DoNews与熵旋芯智创始人雷坤进行了深度交流。那时北京正下着大雨，他刚刚参加了在上海举办的AI芯片峰会，并做了有关MRAM存内计算的报告。差不多同一时刻，在杭州的云栖大会上，阿里平头哥发布了AI芯片真武V900，性能是前代M890的三倍，216GB的显存和1200GB/s的片间互联被放到最显眼的位置。 图片来源：阿里云 还有一个热词，在AI芯片峰会和云栖大会上都被反复提及，就是“超节点”，在几天前的华为全联接大会上，超节点集群也被视为AI时代的重要基础设施。 紧迫感，从一场场行业发布会中溢出。而有关这些名词的讨论，在采访的一开始，雷坤就给了一个基调：“大家的目的都是为了解决这样一个事——算力增长很快，但数据跟不上。” 前几年，我们焦虑的是算力的不足，今天中国日均Token消耗量约500万亿，但限制AI发展的瓶颈，正从单纯的算力不足，转向存储容量、数据带宽、数据搬运功耗和整体系统成本等更加复杂的系统级问题。传统AI芯片通常采用“存储与计算分离”的架构，大量模型参数需要在HBM、片上缓存和计算单元之间反复搬运。 在AI推理中，数据在“存”与“算”之间的流转效率，直接决定了芯片的真实吞吐与能效。随着模型规模持续增长，AI芯片需要更高的存储带宽，功耗和硬件成本也不断上升。 图片来源：熵旋芯智 打个比方，GPU就像一个图书馆，第一层是阅览室，二三四层放书（存储）。想看书（计算）你就要跑到楼上一本本去拿，然后拿到一楼的阅览室才能看，看完还要放回去。以NVIDIA GPU为例，数据需经过完整长链路（片外存储→片上存储→计算单元），多层搬运导致延迟和功耗双高，拿书（数据搬运）的时间比你看书花的时间还多。 今天，这个问题已经越来越紧迫了，这一点从内存高企的价格就可略见一斑。 科技公司自然在尝试解决，超节点是一条路径，从AI芯片的源头解决也是一条路径。而熵旋芯智选择的MRAM，就是AI芯片层面一条尚在前沿领域的小路。 01 搬得更快，不如不用搬 目前行业的主流解法，是让数据搬运的速度更快，让数据存的更多。雷坤解释道：“显存增大的目的是为了把模型装下，如果显存比较小就装不下。互联是因为单张卡的显存有限，所以很多时候需要多张卡来装下，无论是华为的超节点还是阿里真武的多卡互联协议，本质上就是这个。但是装下之后，多卡之间是有通信的，所以要通信带宽达到一个可以接受的水平，多卡的收益才是正的。” 按照这个解法来看，显存就非常重要，但这就是雷坤觉得问题的所
