Matrix3D в iPhone AI: реальность или миф?

Apple представила новую разработку в области искусственного интеллекта — модель Matrix3D, способную создавать 3D-сцены всего из трех фотографий объекта. Эта технология, разработанная совместно с учеными из Нанкинского университета и Гонконгского университета науки и технологий, анализирует реальные изображения, определяет положение камеры, предсказывает глубину пикселей и генерирует новые углы обзора для создания трехмерного изображения.

Примеры, опубликованные на GitHub, демонстрируют впечатляющие результаты: сцены выглядят как реальные видео, будто камера двигалась вокруг объекта. Обучение Matrix3D проводилось на основе миллионов изображений и данных о глубине из шести публичных наборов данных, что позволило модели научиться строить 3D-сцены из обычных фотографий.

Пока неясно, как и когда эта технология будет интегрирована в продукты Apple. Однако потенциальные применения очевидны: редактирование фотографий с помощью ИИ, создание альтернативных видов или перестановка объектов в сцене. Кроме того, Matrix3D может быть полезен для разработчиков AR/VR-контента для Vision Pro или игр для iPhone, iPad и Mac, упрощая процесс создания 3D-ассетов.

Apple уже позволяет пользователям iPhone 16 снимать пространственные фотографии, которые лучше всего смотрятся на Vision Pro. Matrix3D может стать мощным инструментом для создания таких изображений. Также технология может быть полезна в приложениях для онлайн-шопинга, позволяя пользователям рассматривать товары, например мебель, в 3D перед покупкой.

Apple опубликовала исследование и код Matrix3D в открытом доступе, что может вдохновить другие компании на создание аналогичных решений. Пока это лишь предположения, но есть надежда, что Apple интегрирует свои разработки в реальные продукты через Apple Intelligence.

Подробнее о Matrix3D и примеры 3D-сцен можно найти на GitHub.