Компанія NVIDIA хоч і залишається лідером на ринку обчислювальних рішень для штучного інтелекту, але багато інших технологічних корпорацій прагнуть забезпечити собі певну незалежність завдяки власним спеціалізованим чипам. Має такі чипи й компанія Amazon, яка на конференції re:Invent у Лас-Вегасі представила нове покоління чипів Trainium3. Це спеціалізовані ASIC під внутрішні потреби хмарної платформи AWS і для деяких сторонніх клієнтів.
Чип Trainium3 забезпечує продуктивність 2,52 PetaFLOPS у форматі обчислень FP8 з обсягом вбудованої пам’яті до 144 ГБ HBM3E з пропускною спроможністю 4,9 ТБ/с. Trainium3 підтримує як «щільні» (dense), так і експертно-паралельні топології моделей ШІ, а також типи даних MXFP8 і MXFP4, що покращує баланс між пам’яттю та обчислювальними ресурсами для завдань реального часу, мультимодальних завдань і завдань із міркуваннями за довгого контексту. Чипи виробляються на базі техпроцесу TSMC N3 (3 нм).
Trainium3 доступні в складі серверних систем Amazon EC2 Trn3 UltraServer, які підтримують до 144 чипів на одному сервері із загальною продуктивністю 362 PetaFLOPS. Сервери можна об’єднати в EC2 UltraClusters 3.0. Повністю укомплектований UltraServer пропонує близько 20,7 ТБ пам’яті HBM3E при загальній пропускній здатності пам’яті близько 706 ТБ/с. NeuronSwitch-v1 забезпечує високу пропускну здатність для обміну даними між чипами.
За заявою виробника, нове покоління систем із Trainium3 забезпечить зростання продуктивності до 4,4 раза, пропускна здатність пам’яті вища в 3,9 раза, а продуктивність на ват приблизно в 4 рази краща за Trainium2. Також значно покращено функції виведення та ефективність обробки токенів для сервісів Amazon.
Джерело:
TechPowerUp