Apple представила новый открытый AI-модель для генерации кода — DiffuCode-7B-cpGRPO, которая отличается от классических языковых моделей уникальным подходом к созданию программного кода. Вместо традиционного последовательного (авторегрессионного) метода, когда текст или код генерируется слева направо, эта модель способна работать с несколькими фрагментами одновременно и улучшать их параллельно. Такой подход позволяет значительно ускорить процесс генерации кода, а также обеспечивает глобальную согласованность структуры программ.
В основе DiffuCode-7B-cpGRPO лежит архитектура диффузионных моделей, которая ранее применялась преимущественно для генерации изображений (например, в Stable Diffusion). Диффузионная модель начинает с «шумного» варианта и постепенно дорабатывает его, ориентируясь на запрос пользователя. В контексте программирования это особенно ценно, так как позволяет улучшать сразу всю структуру кода, а не только отдельные последовательные элементы.
Apple создала свою модель на базе открытого LLM Qwen2.5‑7B от Alibaba, который был доработан для задач программирования (Qwen2.5‑Coder‑7B). Затем Apple внедрила диффузионный декодер, описанный в научной работе DiffuCoder, и провела дополнительное обучение на более чем 20 000 тщательно отобранных примерах кода. В результате новая модель продемонстрировала прирост качества на 4,4% по популярному бенчмарку для генерации кода и сохранила низкую зависимость от строгой последовательности генерации.
Важной особенностью DiffuCode-7B-cpGRPO является возможность гибко настраивать поведение модели с помощью параметра temperature: при низких значениях сохраняется последовательная генерация, при высоких — модель становится более гибкой и может генерировать код вне строгого порядка. Это открывает новые горизонты для автоматизации программирования и повышения производительности разработчиков.
Несмотря на то, что по абсолютным показателям DiffuCode-7B-cpGRPO пока уступает лидерам отрасли вроде GPT-4 или Gemini Diffusion, сама концепция диффузионной генерации кода выглядит перспективно. Apple постепенно укрепляет свои позиции в области генеративного ИИ, внедряя инновационные подходы, которые в будущем могут лечь в основу новых продуктов и сервисов для пользователей и разработчиков.
