Исследователи Apple совместно с Purdue University представили модель DarkDiff, которая радикально меняет подход к обработке экстремально темных снимков на iPhone, интегрируя диффузионную модель прямо в канал обработки изображений камеры (ISP). Вместо традиционных алгоритмов, размывающих детали в зернистый шум или создающих эффект масляной картины, DarkDiff использует предобученную Stable Diffusion для восстановления текстур и цветов из сырых данных сенсора, опираясь на контекст всей фотографии.
Модель работает на линейном RGB-изображении после базовых этапов ISP вроде баланса белого и демозаики, применяя denoising и генерируя финальный sRGB-вывод с помощью classifier-free guidance — это позволяет точно дозировать баланс между верностью входным данным и креативным восстановлением деталей. Тестирование на камерах вроде Sony A7SII с экспозицией 0,033 секунды показало превосходство над конкурентами типа ExposureDiffusion: снимки с 300-кратно большей выдержкой на штативе обретали реалистичную резкость без артефактов, хотя локальное внимание к патчам изображения предотвращает галлюцинации, как искажение объектов.
Несмотря на впечатляющие результаты по perceptual quality на трех бенчмарках, DarkDiff требует мощных вычислений, что делает ее пока неподходящей для локальной обработки на iPhone без облака — батарея просто не выдержит. Проблемы с распознаванием нерусскоязычного текста в темноте тоже отмечены, но это подчеркивает приоритет Apple в computational photography, где аппаратные лимиты сенсоров компенсируются ИИ, поднимая камеры смартфонов на уровень профессиональной оптики.
