Современные ускорители ИИ ограничены встроенной памятью. С увеличением объемов данных и потребностей в энергии, индустрия сосредотачивается на масштабировании количества графических процессоров, но такой подход не является рациональным в долгосрочной перспективе, если учесть затраты финансовых и производственных ресурсов. Чтобы решить этот вопрос, Panmnesia, стартап KAIST (Корейского передового института науки и технологии), представила технологию IP CXL, которая позволяет графическим процессорам использовать память из DRAM или даже SSD, дополняя встроенную HBM.
Panmnesia разработала собственный CXL 3.1-совместимый чип, который имеет несколько портов, соединяющих графический процессор с внешней памятью через шину PCIe, а декодер HDM (Host-Managed Device Memory) выступает в роли моста между подключениями, управляя распределением памяти и трансляцией. Традиционные ускорители ИИ не имеют необходимых подсистем для прямого подключения и использования CXL для расширения памяти, а такие решения, как UVM (Unified Virtual Memory — унифицированная виртуальная память), работают довольно медленно, что в первую очередь противоречит их цели.
Также Panmnesia решила сравнить свое решение (CXL-Opt) с прототипами, разработанными Samsung и Meta, которые они обозначили как «CXL-Proto». Ожидаемо, CXL-Opt достигает значительно меньшей задержки в передаче данных от графического процессора к памяти и обратно. Он показал двузначную наносекундную задержку, тогда как «CXL-Proto» имеет задержку 250 нс. Кроме того, время выполнения CXL-Opt намного меньше, чем у UVM.
Решение Panmnesia может сильно повлиять на рынок. Компания является одной из первых со своим инновационным CXL IP, и если он приобретет популярность, Panmnesia получит значительную выгоду.
Источник:
Wccftech