Обучение мемристорам сокращает затраты на электроэнергию для ИИ

Китайские исследователи используют вероятностные обновления мемристорного оборудования, чтобы на порядки сократить потребление энергии для обучения ИИ, прокладывая путь к сверхэффективной электронике.



Китайские ученые объявили о прорыве в обучении энергоемких моделей искусственного интеллекта с использованием мемристорного оборудования, что позволяет снизить потребление энергии почти на шесть порядков по сравнению с традиционным обучением на основе графического процессора.Их новый подход решает давнюю проблему несоответствия аппаратного и программного обеспечения в нейронных сетях на основе мемристоров и может изменить энергетические профили для электроники искусственного интеллекта следующего поколения.

В основе разработки лежит алгоритм вероятностного обновления с учетом ошибок (EaPU), который выравнивает шумное и непредсказуемое поведение мемристорных устройств с обновлениями веса на основе градиента, используемыми при обучении нейронных сетей.Традиционное обратное распространение ошибки вносит небольшие и точные корректировки весов модели, но аналоговые мемристорные устройства, сочетающие хранение и обработку, страдают от шума записи и дрейфа, которые заглушают такие мелкозернистые изменения.Вместо борьбы с этим шумом стратегия EaPU использует стохастичность: она вероятностно применяет большие сдвиги веса, пропуская обновления ниже порога шума устройства, сокращая количество операций записи более чем на 99% и значительно снижая энергопотребление.

Команда проверила свой метод на экспериментальной 180-нм мемристорной матрице, обучающей сети для шумоподавления изображений и сверхвысокого разрешения с качеством, равным или превосходящим традиционные методы обучения, но используя лишь небольшую часть энергии.Более крупные сети, включая 152-слойные сети ResNet и Vision Transformers, были протестированы в моделировании, показав прирост точности, превышающий 60 % на шумном оборудовании по сравнению со стандартными подходами.

Помимо экономии энергии, уменьшенная частота обновления продлевает срок службы устройства примерно в 1000 раз, устраняя ключевое препятствие для коммерческих мемристорных систем.По сравнению с предыдущими схемами обучения мемристоров, EaPU сокращает энергию обучения примерно в 50 раз и примерно в 13 раз по сравнению с лучшим существующим оптимизированным алгоритмом.

Исследователи видят широкое применение своей технологии, потенциально распространяя ее на другие технологии памяти, такие как сегнетоэлектрические транзисторы и магниторезистивная оперативная память, и даже на крупномасштабные кластеры обучения искусственного интеллекта, где затраты на электроэнергию являются стратегическим вопросом.Если масштабировать и коммерциализировать, эта работа может помочь сделать устойчивую и энергоэффективную электронику искусственного интеллекта практической реальностью.