Международный облачный провайдер и системный интегратор ITglobal.com, входит в корпорацию ITG, подтвердил эффективность TPU-ускорителей Sophgo SC7 HP75 в качестве альтернативы решениям Nvidia для задач искусственного интеллекта и компьютерного зрения. В ходе тестирования TPU-ускоритель обработал 30-секундное видео на 20% быстрее сервера на базе GPU при сопоставимой точности распознавания объектов. Об этом CNews сообщили представители ITglobal.com.
ITglobal.com провел комплексное тестирование TPU-ускорителя Sophgo SC7 HP75 в сравнении с профилем vGPU 16GB на базе Nvidia A16 с использованием модели YOLOv5s. TPU-ускоритель завершил обработку 30-секундного видео за 6,2 секунды, тогда как GPU-решению потребовалось 7,8 секунды. При этом разница в точности детекции объектов составила менее 0,04%. Результаты демонстрируют способность TPU справляться с задачами инференса в реальном времени, особенно в сценариях, связанных с обработкой видеопотоков и компьютерным зрением.
Дополнительное тестирование с использованием Whisper Medium на двух устройствах Sophgo SC7+ (6 TPU) показало ощутимые результаты в обработке аудио. Система обработала 12 аудиофайлов продолжительностью 883 секунды каждый (общий объем 10596 секунд) за 1326 секунд, обеспечивая скорость 7,99 секунды аудио на секунду реального времени при среднем времени обработки одного запроса 661 секунда.
«Результаты тестирования подтверждают, что TPU-ускорители Sophgo могут служить эффективной альтернативой традиционным GPU-решениям, предлагая сопоставимую или более высокую производительность в специфических задачах ИИ при более низкой стоимости. Это особенно важно для компаний, стремящихся оптимизировать затраты на ИИ-инфраструктуру при сохранении высоких стандартов производительности», — отметил Евгений Свидерский, директор облачного бизнеса ITglobal.com.
TPU-ускоритель SC7 HP75 построен на основе 24-ядерного процессора ARM Cortex-A53, разработанный для выполнения задач глубокого обучения и анализа данных, особенно в сфере видеоструктурирования и аналитики.
Поделиться
