Trusta, корпоративный бренд хранения данных компании Adata Technology Co., официально представляет решение Trusta AI Scaler Extended Memory Solution. Trusta представляет AI Scaler Toolkit как основу решения, которое расширяет развертывание моделей ИИ за пределы исключительно GPU-архитектур на системную память и высокоскоростные SSD. Об этом CNews сообщили представители Adata.
Это комплексное программно-аппаратное решение помогает предприятиям преодолевать ограничения памяти GPU и снижать затраты на развертывание ИИ более чем на 50% в сценариях инференса и файн-тюнинга моделей.
Исследовательские компании прогнозируют рост инфраструктуры ИИ с CAGR около 26% до 2034 г., при этом все больше развертываний ИИ переходят от облачных сервисов к корпоративным и edge-решениям. При построении инфраструктуры ИИ такие факторы, как защита данных, соответствие регуляторным требованиям, контролируемость затрат и «гравитация данных», побудили Trusta предложить новую концепцию: создание более экономичной и масштабируемой конфигурации памяти между GPU, DRAM и SSD в локальной среде.
Запуск больших языковых моделей сегодня часто требует высокопроизводительных GPU, что создает высокие барьеры входа и ограничивает масштабируемость. Решение Trusta AI Scaler Extended Memory Solution было разработано для преодоления этой рыночной проблемы. По сравнению с архитектурами, полностью зависящими от памяти GPU, AI Scaler Toolkit расширяет развертывание моделей на память GPU, DRAM и SSD, обеспечивая более эффективное использование системных ресурсов.
В протестированных сценариях инференс моделей, который обычно требует нескольких GPU, может быть оптимизирован для работы на одном GPU в сочетании с расширенной системной памятью. При файн-тюнинге моделей решение также может динамически распределять вычислительные ресурсы между GPU, DRAM и SSD, обеспечивая более гибкое масштабирование ресурсов, снижая затраты на развертывание более чем на 50% и помогая предприятиям внедрять ИИ в условиях ограниченного бюджета.
AI Scaler Toolkit разработан как бесплатная и открытая платформа, не привязанная к конкретным конфигурациям оборудования. Это позволяет предприятиям, исследовательским институтам и разработчикам настраивать ресурсы в соответствии со своими потребностями. Платформа поддерживает основные семейства моделей, включая Llama, Qwen, Mistral, Mixtral, GPT-OSS, DeepSeek, Phi и Gemma, с продолжающимся расширением совместимости. Она также поддерживает приложения ИИ-агентов, такие как OpenClaw, NemoClaw и Hermes Agentic, помогая пользователям интегрировать AI Scaler в полноценные Agentic AI рабочие процессы.
AI Scaler Toolkit уже полностью доступен для скачивания и использования.
Поделиться
