Недавно компания Apple анонсировала набор функций Apple Intelligence на базе искусственного интеллекта для своих устройств iPad, Mac и старших iPhone 15. Теперь представлена документация относительно Apple Intelligence, из которой стало ясно, что при обучении своих моделей ИИ компания внезапно отказалась от передовых ускорителей вычислений Nvidia H100 и серверов на их основе. Вместо них использовались системы со специализированными чипами Google TPUv4 и TPUv5.
Системы на базе чипов Google TPU (Tensor Processing Units) использовались для обучения моделей Apple Foundation Models (AFM), которые представлены в вариантах AFM-server и AFM-on-device для онлайновых и оффлайновых функций. AFM-server является крупнейшей языковой моделью LLM Apple, обученной на 8192 чипах TPUv4 в конфигурации 8×1024 чипов. Предварительное обучение представляло трехэтапный процесс с обработкой в общей сложности более семи триллионов токенов. Данные для обучения получены от веб-сканера Applebot, также использовались различные лицензированные «высококачественные» наборы данных. Упоминается использование тщательно отобранного кода, математических вычислений и общедоступных наборов данных. В случае моделей AFM-on-device использовался кластер с 2048 чипами Google TPUv5p.
Согласно внутренним тестам Apple их модели показывают отличные результаты. Поэтому компания надеется занять серьезные позиции в гонке ИИ несмотря на то, что последней выходит на этот рынок.
Источник:
Tom's Hardware