亚马逊推出TorchNeuron,PyTorch代码可直接运行于Trainium芯片
该开源工具将在PyTorch Conference North America上发布,支持Trainium2与Trainium3芯片,开发者只需改动一项设置。
亚马逊于当地时间19日在其官方博客宣布,将推出TorchNeuron工具,使PyTorch代码无需修改即可直接运行在亚马逊自研的Trainium AI芯片上。据digitaltoday.co.kr报道,开发者只需改动一项设置,就能把PyTorch代码迁移到新芯片。
亚马逊表示,使用TorchNeuron后,开发者可以继续沿用现有的测试、调试和扩展工具。该工具支持Trainium2和Trainium3两款芯片。
TorchNeuron将于20日在PyTorch Conference North America上以开源形式发布。
目前已有多方在实际场景中使用该工具。语音AI公司Cartesia几乎未改动PyTorch代码,便在Trainium上运行推理工作负载;研究精神分裂症等神经精神疾病疗法的River Neuroscience Institute则将TorchNeuron用于药物研发。此外,Hugging Face在其AI开发工具中默认提供对Trainium的支持。
降低换芯成本
此前,开发者若要把PyTorch代码迁移到新芯片,往往需要花费数月重写并验证代码。亚马逊还在与PyTorch社区合作改进代码,以避免PyTorch与特定芯片绑定。亚马逊强调,对包括初创公司在内的许多企业而言,最大的成本是开发者的时间而非芯片本身;让开发者更容易更换芯片,将加剧芯片厂商之间的竞争并降低开发成本。
快速问答
TorchNeuron是什么?
它是亚马逊推出的开源工具,可让未经修改的PyTorch代码直接运行在Trainium芯片上,开发者只需改动一项设置。
TorchNeuron支持哪些芯片?
支持Trainium2和Trainium3。
TorchNeuron何时发布?
将于10月20日在PyTorch Conference North America上以开源形式发布。