Apple продемонстрировала значительный прирост производительности нового чипа M5 по сравнению с предыдущим M4 в задачах локального запуска больших языковых моделей (LLM) с использованием своего фреймворка MLX. Согласно свежему посту в блоге Apple Machine Learning Research, M5 обеспечивает увеличение скорости генерации первых токенов и последующих, достигая прироста производительности в среднем на 19-27% благодаря улучшенной пропускной способности памяти — 153 ГБ/с против 120 ГБ/с у M4. Особое улучшение касается новых GPU Neural Accelerators в M5, оптимизированных для матричных операций, что критично для машинного обучения.
MLX — это открытый фреймворк, созданный Apple для эффективного построения и запуска моделей машинного обучения на Apple silicon с поддержкой текстовой и генерации изображений. Важной особенностью является возможность работы с памятью unified memory architecture без необходимости её перемещения между CPU и GPU. Фреймворк поддерживает загрузку моделей с платформы Hugging Face, а также квантование моделей, что снижает требования к памяти и ускоряет вывод результатов.
В сравнении на примере моделей Qwen разных размеров (от 1.7B до 30B параметров) и GPT OSS 20B, M5 оказался быстрее при генерации первого токена, а также при генерации следующих 128 токенов, демонстрируя более качественную работу с большими моделями на одном устройстве. Для генерации изображений ускорение на M5 превышает 3.8 раза по сравнению с M4. По словам Apple, MacBook Pro с M5 и 24 ГБ памяти легко справляется с задачами вывода даже для крупных моделей при использовании MLX.
Таким образом, новое поколение Apple silicon M5 выводит локальное использование больших языковых моделей на более высокий уровень эффективности и скорости, расширяя возможности пользователей и разработчиков в области машинного обучения на MacBook Pro.
