微软探索可组合内存技术应对AI内存短缺
微软首席架构师萨米尔·拉扎德尼亚在AI数据管道论坛上介绍了可组合内存技术,该技术可跨服务器池化内存并按需分配。
据SiliconANGLE报道,微软正在探索可组合内存技术,以应对AI数据中心内存短缺问题。微软首席架构师萨米尔·拉扎德尼亚在AI数据管道论坛上介绍了公司对这一技术的兴趣。
拉扎德尼亚表示,其技术探索团队正在寻找一种能够在Azure范围内跨服务器池化内存并按需分配的技术方案。
他指出,AI推理目前同时面临两方面的限制:功耗和内存。内存当前十分稀缺,而将内存绑定到未使用的任务上会浪费这一宝贵资源。
拉扎德尼亚还表示,内存曾经只是CPU或GPU的附属部件,如今本身已成为一项重要资源。他认为,光互连技术将有助于实现可组合内存。
快速问答
微软正在探索什么技术来应对AI内存短缺?
微软正在探索可组合内存技术,该技术可跨服务器池化内存并按需分配,供Azure范围内使用。
谁在AI数据管道论坛上介绍了微软的这一探索?
微软首席架构师萨米尔·拉扎德尼亚介绍了公司对可组合内存的兴趣。
拉扎德尼亚认为AI推理面临哪些限制?
他表示AI推理同时面临功耗和内存两方面的限制。