Apple представила результаты нового исследования, в котором команда Machine Learning Research изучила возможность использования искусственного интеллекта для оценки частоты сердечных сокращений (ЧСС) по аудиозаписям сердечных тонов, полученным с помощью обычных микрофонов — например, в AirPods. Это открывает перспективы для пассивного мониторинга здоровья без необходимости в специализированных сенсорах, встроенных в устройства.
Детали исследования
- В эксперименте использовались шесть популярных foundation-моделей, обученных на аудио- и речевых данных (включая HuBERT, wav2vec2, Whisper и внутреннюю версию CLAP от Apple).
- Для анализа применялась публичная база данных из более чем 20 часов реальных медицинских записей сердечных звуков (фонокардиограмм), размеченных экспертами.
- Аудио разбивалось на короткие 5-секундные фрагменты, что позволило получить около 23 000 сэмплов для обучения нейросети, определяющей ЧСС в ударах в минуту.
Результаты и выводы
- Даже модели, не обученные специально для медицинских задач, показали точность, сопоставимую с традиционными методами на основе ручных аудиопризнаков.
- Внутренняя модель Apple CLAP, обученная на 3 млн аудиосэмплов, превзошла все остальные по точности оценки ЧСС, показав наименьшую среднюю абсолютную ошибку (MAE).
- Интересно, что увеличение глубины модели не приводило к улучшению результатов: лучшие показатели давали “мелкие” и “средние” слои, а глубокие слои, оптимизированные под распознавание речи, были менее информативны для анализа сердечных звуков.
- Комбинирование классической обработки сигналов и современных AI-методов дало наиболее устойчивые результаты. Если один подход “терял” сигнал, другой мог его компенсировать.
Перспективы внедрения
Apple не делает клинических заявлений и не обещает немедленного появления продукта, но очевидно, что компания рассматривает возможность интеграции таких AI-моделей в экосистему устройств: iPhone, Apple Watch и особенно AirPods. Последние уже оснащены высококачественными микрофонами, используемыми для активного шумоподавления, и теоретически могут захватывать тонкие вибрации и звуки тела пользователя, включая сердцебиение.
Будущие направления исследований
Apple планирует:
- Совмещать акустические признаки с AI-представлениями для повышения точности и устойчивости к индивидуальным особенностям пользователей.
- Разрабатывать облегчённые версии моделей, способные работать на энергоэффективных устройствах.
- Исследовать возможность анализа других физиологических звуков и параметров, а также адаптацию моделей к специфике медицинских задач.
Внедрение AI-анализа сердечных звуков в AirPods может сделать наушники полноценным пассивным трекером здоровья, способным определять ЧСС и выявлять потенциальные отклонения без необходимости носить часы или специализированные медицинские устройства. Это расширит возможности фитнес-мониторинга и ранней диагностики для миллионов пользователей Apple-экосистемы.
Apple делает важный шаг к превращению повседневных гаджетов в интеллектуальные инструменты мониторинга здоровья. Интеграция AI-алгоритмов для анализа сердечных звуков в AirPods и другие устройства может стать новым стандартом в индустрии мобильных и носимых технологий.
