消息称美光正探索开发近GPU NAND闪存以运行更大的LLM

【消息称美光正探索开发近GPU NAND闪存以运行更大的LLM】据报道，美光正探索开发高耐久性NAND闪存模块的方案，研究如何将NAND闪存更靠近GPU，以处理那些不需要传统HBM或常规DRAM模块那样高延迟和高带宽的工作负载。这种架构目前被称为“近GPU NAND”，旨在兼顾密度和耐久性。该方案允许GPU访问密度低于传统TLC或QLC NAND的NAND闪存池，但重点在于提升I/O速度、带宽和读取速度。该技术将使GPU能够直接访问数百GB的潜在存储池，LLM将不再受限于内存。