Apple предпочла обучать свои языковые модели на процессорах Google, а не Nvidia
Возможно, в будущем Apple будет полагаться при развитии своих систем искусственного интеллекта на серверные процессоры собственной разработки, но пока она вынуждена использовать сторонние компоненты. В отличие от многих конкурентов, сильно зависящих в этой сфере от Nvidia, компания Apple сделала ставку на тензорные процессоры Google.
Как отмечает CNBC, это следует из пояснительной записки Apple, в которой указывается конфигурация вычислительных кластеров, использованных компания для обучения своих больших языковых моделей, которые лягут в основу технологии Apple Intelligence. Её предварительная версия уже начала демонстрироваться на некоторых устройствах, а потому Apple решила раскрыть информацию о специфике развития своей инфраструктуры искусственного интеллекта.
Прямо Apple не упоминает разработчика процессоров, которые использовала для обучения своей языковой модели Apple Foundation Model, но в тексте записки фигурирует формулировка «облачные кластеры на основе TPU». Так сокращённо называет свои тензорные процессоры именно Google. Помимо прочего, это откровение Apple говорит об использовании компанией арендованных у Google облачных вычислительных ресурсов. Для стадии становления систем искусственного интеллекта Apple это вполне оправданный подход.
Большая языковая модель, которая будет работать на конечных устройствах Apple, обучалась с помощью кластера из 2048 процессоров Google серии v5p, которая считается самой современной. Серверная часть модели обучалась на кластере с 8192 процессорами v4. Google сдаёт такие кластеры в аренду по $2 за час с каждого используемого клиентом процессора. При этом собственные языковые модели Google обучает и с использованием аппаратного обеспечения Nvidia, а не только процессоров собственной разработки. Компания Apple никак не выдаёт в своей документации возможное использование чипов Nvidia.