Untether AI переосмысливает архитектуру фон Неймана для карт ускорителей вывода ИИ

Вместо традиционной архитектуры фон Неймана, которая предназначена для перемещения данных, устройства run200AI, используемые в ускорительных картах tsunAImi, предназначены для вычислений. Элемент обработки расположен внутри памяти для создания массива распределенной обработки.

Устройства runAI200 используют целочисленные типы данных и пакетный режим 1. Банк памяти имеет 385 Кбайт SRAM с двумерным массивом из 512 обрабатывающих элементов. На каждую микросхему приходится 511 банков, что в сумме дает 200 МБ на устройство. Скорость работы до 502 ТОПС в «спортивном» режиме. В режиме «эко» он обеспечивает 8TOPS.

По заявлению компании, вычислительная мощность карты ускорителя обеспечивает пропускную способность ResNet-50 v 1.5 более 80 000 кадров в секунду при партии = 1, что в три раза превышает производительность ее ближайшего конкурента. В другом тесте производительности для обработки естественного языка карты-ускорители могут обрабатывать более 12 000 запросов в секунду из BERT-базы, сообщает компания. По его словам, это в четыре раза быстрее, чем у любого анонсированного продукта.

Устройства runAI200 производятся с использованием экономичного 16-нм техпроцесса.

ИИ для логических выводов станет важным элементом в центрах обработки данных, где его плотность вычислений повысит производительность для умных городов и других приложений ИИ и машинного обучения.

Карта ускорителя tsunAImi представляет собой карту PCI Express стандартного форм-фактора для использования в облаке или на серверах. Он поддерживает открытое программное обеспечение TensorFlow и PyTorch для машинного обучения.

В дополнение к карте ускорителя в комплекте разработки программного обеспечения Untether AI imAIgine (SDK) есть функция квантования, оптимизация, физическое распределение и многочиповое разделение с помощью кнопок. Он также предоставляет набор инструментов визуализации, симулятор с точным циклом и API среды выполнения для интеграции.

Карта ускорителя tsunAImi сейчас находится в стадии тестирования и будет коммерчески доступна в первом квартале 2021 года. SDK imAIgine находится в раннем доступе для избранных клиентов и партнеров.