Компанія Google почала повноцінне постачання та розгортання систем з новими процесорами для штучного інтелекту. Вони орієнтовані як на навчання масштабних моделей ШІ, так і на завдання логічного виведення ШІ з низькою затримкою. Ці чипи будуть використовуватися у великих масштабованих серверних рішеннях.
Серверні модулі поєднують процесори Axion і спеціалізовані чипи TPU Ironwood. Це єдина серверна платформа, що об’єднує обчислювальні потужності, сховище і мережеві комунікації на одному рівні управління. TPU Ironwood — це вже сьоме покоління тензорних процесорів Google, які були анонсовані навесні поточного року. Пікова продуктивність чипа Ironwood досягає 4614 TFLOPS в обчисленнях FP8, він оснащений 192 ГБ пам’яті HBM3E з пропускною спроможністю до 7,37 ТБ/с. Серверні системи Ironwood можуть масштабуватися аж до об’єднання 9216 прискорювачів в одну мережу, що дасть змогу сумарно отримати неймовірну продуктивність у 42,5 екзафлопс. Високошвидкісне з’єднання модулів здійснюється через мережу Inter-Chip Interconnect зі швидкістю 9,6 Тбіт/с, що дає змогу отримати загальний обсяг пам’яті HBM3E до 1,77 ПБ.
Процесори Axion засновані на архітектурі Armv9 і орієнтовані на роботу в поєднанні з TPU для обробки даних та завдань ШІ. Ці процесори можуть використовуватися як для серверів штучного інтелекту, так і серверів загального призначення. Зараз Google пропонує три конфігурації цих CPU — C4A, N4A і C4A Metal. Старший варіант C4A Metal пропонує до 96 віртуальних ядер з підтримкою 768 ГБ пам’яті DDR5 і мережевого підключення 100 Гбіт/с.
Нові серверні рішення будуть розгорнуті для внутрішніх потреб і хмарної платформи Google Cloud. Нещодавно стало відомо, що одним із великих замовників хмарних потужностей Google Cloud на базі TPU стане компанія Anthropic, один із великих гравців на ринку ШІ.
Джерело:
Tom’s Hardware