В отличие от большинства технологий внутри вашего iPhone, функции, которые вполне наглядны и понятны, например, Siri, ночной режим в камере или Face ID, польза от Neural Engine кажется не такой очевидный.
Очередная фишка с модным названием, об улучшениях которой инженеры и маркетологи Apple увлеченно рассказывают нам каждый год, но обычно эту часть презентации смотреть не так интересно.
Однако при этом большинство тех самых популярных и крутых функций вашего iPhone, которыми вы пользуетесь постоянно, каждый день или даже каждую минуту – работает именно благодаря системе Neural Engine. Это крайне важная технология, из-за которой Айфоны и стали намного умнее своих предшественников.
Разработка Neural Engine
Работать над собственными процессорами в Купертино начали еще в 2010 году, именно тогда дебютировала модель iPhone 4 с самым первым чипом A-серии под названием “A4”. Но по-настоящему ключевым в истории развития Айфонов стал 2017 год – именно тогда нам показали смартфон, у которого в систему на чипе был встроен отдельный нейронный сопроцессор.
Я говорю об iPhone X и его чипе Apple A11 Bionic. Приставка “Bionic” намекает нам на дополнительные умные возможности в iPhone.
В беседе с журналистами сразу после презентации главный маркетолог Apple Фил Шиллер отметил, что теперь основным новшеством каждого нового поколения продуктов компании будут именно чипы.
Но зачем понадобилось внедрять Neural Engine (он же нейронный движок) в чип iPhone 10, и какие преимущества он давал пользователям?
Зачем нужен Neural Engine?
Все дело в Face ID, которое работает благодаря машинному обучению и нейронным сетям.
Для того, чтобы любой iPhone научился моментально распознавать лицо своего владельца, перед инженерами Apple стояла достаточно непростая задача по тренировке нейронной сети и загрузке ее в будущие смартфоны. И новейший сопроцессор Neural Engine как раз отвечал за работу этой самой нейронной сети и производил все необходимые вычисления.
В своей первой версии нейронный движок мог похвастаться всего двумя ядрами и производительностью в 600 миллиардов операций в секунду. Это достаточно много, но для примера в актуальном чипе Apple A15 Bionic используется 16 ядер, которые обеспечивают производительность в 15,8 триллионов операций в секунду.
Кроме Face ID, Neural Engine в своей первой версии использовался для ускорения и других специфических алгоритмов, связанных с дополненной реальностью, анимоджи, студийного освещения при портретной съемке и др.
Но зачем понадобился отдельный сопроцессор, почему нельзя было использовать мощности центрального или графического процессоров? На это есть несколько причин.
При работе нейронной сети требуется производить очень много вычислений, и желательно параллельно. Они по своей сути не особо сложные, но их очень много. А обычные процессоры просто не предназначены для таких массовых параллельных операций.
К примеру, для обучения сложной нейронной сети с помощью CPU потребуется несколько месяцев, а графический процессор справится за несколько дней.
То есть центральный процессор нам не подойдет, а графический, который рассчитан на то, чтобы выполнять очень быстро и много довольно простых операций – тоже не подойдет.
Но тут уже дело в энергоэффективности, которая критически важна для мобильных устройств. Кому нужен мощный и супер-умный смартфон, если он не способен долго работать от одного заряда?
Именно для решения этих проблем, скорости и энергоэффективности, требуется дополнительный нейронный сопроцессор, который будет выполнять отдельные специфические алгоритмы на вашем смартфоне.
Почему без Neural Engine уже не обойтись?
Использование локальных нейросетей и вычислений, которые способны работать без доступа к интернету, гарантирует безопасность и конфиденциальность данных. Представьте, если бы для разблокировки iPhone приходилось отправлять данные на удаленный сервер, там их обрабатывать и передавать обратно на ваш смартфон. Звучит как фантастика, и само собой, встроенный нейронный движок сделает это существенно быстрее.
Но если первая версия Neural Engine в основном отвечала за распознавание лица с помощью Face ID, размытие фонов на портретных снимках, то в следующих поколениях смартфонов Apple следующее поколение нейронных движков взяли на себя более продвинутые обязанности.
Существенный прирост производительности и энергоэффективности, в том числе благодаря добавлению специальных ускорителей в центральный процессор и увеличение количества нейронных ядер, позволили реализовать невероятно крутые функции в iOS. И большинство из нововведений касается работы камеры и улучшения вашего персонального опыта использования системы.
Наиболее крутыми функциями, за которые отвечает машинное обучение и Neural Engine, является:
- технология Deep Fusion для улучшения фотографии;
- ночной режим в камере;
- размытие фона на видео и киноэффект (доступен в iPhone 13 и новее).
Да и в принципе в современных смартфонах за все улучшенные фотографические возможности, кроме доработанного железа, отвечает в том числе и система Neural Engine.
C помощью дополнительного умного сопроцессора вы можете распознавать текст на фото или видео, моментально вырезать объекты, создавать интеллектуальные воспоминания, искать и распознавать определенные предметы на снимках в медиатеке и многое другое.
Работа с дополненной реальностью, анализ ваших ежедневных привычек и действия, а в дальнейшем и создание специфических предложений-сценариев, контроль аккумулятора и оптимальный способ его заряда, перевод текста, работа Siri, анализ и подборка ваших музыкальных предпочтений, напоминания, диктовка, тренировки, безопасность паролей.
Без системы Neural Engine Айфон фактически не был бы Айфоном. Так что слова Фила Шиллера о том, что именно чипы будут теперь основным новшеством каждого нового поколения продуктов компании, звучат очень убедительно.
