Искусственный интеллект и алгоритмы
Алексей Андреев, Джеф Петерс, Autotech Ventures
За последние десятилетия наблюдается не только кардинальный рост производительности вычислительных систем, но и усовершенствование алгоритмов, которые считаются сложными. Так, профессор Мартин Груцчел заметил, что задача линейного программирования, которая решалась бы за 82 года в 1988 году, может быть решена за одну минуту в 2003 году. Это объясняется тем, что компьютеры стали в 1000 раз быстрее, а алгоритмы — в 43000 раз эффективнее. Аналогичным образом, профессор МТИ Димитрис Берсимас показал, что между 1991 и 2013 годами алгоритмы решения целочисленных задач ускорились в 580 000 раз, а аппаратное ускорение суперкомпьютеров увеличилось в 320 000 раз.
Что это значит для такой бурно развивающейся отрасли, как искусственный интеллект (ИИ)?
За последние полтора десятилетия в академическом, промышленном и стартап-мире произошел взрыв развития ИИ. Вероятно, точка перегиба в истории ИИ возникла, когда команда AlexNet из Университета Торонто в 2012 году победила в проекте ImageNet Large Scale Visual Recognition Challenge (ILSVRC), используя алгоритм глубокого обучения (deep learning). С тех пор глубокое обучение стало ключевой формулировкой для реализации ИИ.
Достижения в области компьютерного зрения распространились на обработку естественного языка и другие области ИИ. Интеллектуальные колонки звуковоспроизведения, компьютерный перевод в реальном времени, роботизированные хедж-фонды и веб-справочники уже больше не удивляют потребителей.
ИИ также стал движущей силой в транспортной отрасли в системах помощи вождению (ADAS), автономном управлении, контроле качества производства, человеко-машинном интерфейсе в автомобиле и т. д.
Точка перегиба в развитии ИИ с глубоким обучением сопровождалась агрессивным ростом спроса на графические акселераторы. Из-за своей параллельной вычислительной мощности, графические акселераторы оказались эффективными для реализации вычислений, используемых алгоритмами глубокого обучения. Nvidia, «уничтожил» своих конкурентов и увидел, что цена на его акции выросла в 20 раз с 2013 по 2018 год.
Qualcomm, Arm и другие сосредоточили внимание на разработке чипов ИИ, в то время как Intel приобрела систему ИИ Nervana Systems. Компании Google, Facebook, Apple и Amazon задумались о создании своих собственных процессоров обработки ИИ для центров обработки данных. Есть также несколько стартапов, например, Graphcore, Mythic, Wave Computing, Cerebras, SambaNova, которые пытаются построить более совершенную машину для алгоритмов ИИ. Некоторые другие, такие как D-wave Systems и IBM, активно изучают параллельные архитектуры. Но большинство разработкок таких чипов имеют цель догнать или перегнать Nvidia.
Сейчас продолжается бурное развитие альтернативных проектов чипов ИИ, несмотря на их огромные затраты на разработку. Конечная цель игры в ИИ настолько захватывающе велика, что участники готовы вкладывать значительные средства, адаптируя аппаратное обеспечение и основные алгоритмы. Но возникает вопрос, хорошо ли подходят алгоритмы завтрашнего дня к существующей технологии полупроводниковых чипов?
Вероятно, алгоритмы ИИ завтрашнего дня могут потребовать разные вычислительные архитектуры, ресурсы памяти, возможности передачи данных и т. д.
Несмотря на то, что алгоритмы глубокого обучения были известны давно, только недавно они были реализованы на практике благодаря тому, что Г. Муром были предсказаны успехи в увеличении объемов аппаратных средств. Исходные алгоритмы не были рассчитаны на инженерную реализацию, поскольку тогда исследователи не могли мечтать о вычислительной мощности, которую дают сегодня микросхемы по цене 1000 долларов. Сегодня во многих реализациях обучения, для повышения точности распознавания, просто добавляют больше слоев нейросети или анализируют больше данных, используя те же алгоритмы. Лишь небольшая часть исследователей сосредоточена на трудной проблеме улучшения самих алгоритмов.
Разработаны методы, которые обрезают избыточные математические операции для сокращения времени вычисления, сжимают свертки до меньших матриц для уменьшения требований к памяти или строят бинарные весовые матрицы для упрощения математических операций. Это первые алгоритмические достижения в распознавании образов, которые начинают опережать аппаратные достижения.
Например, система DeepScale, результат исследования UC Berkeley, таким способом «сжимает» сложность решения задачи ИИ для ADAS. Их модель нейронной сети продемонстрировала 30-кратное ускорение по сравнению с ведущими моделями обнаружения объектов, используя только усовершенствование алгоритма и уменьшая объем памяти.
Еще один пример такого алгоритмического скачкообразного ускорения — система ИИ, разработанная в Алленском институте искусственного интеллекта. Используя бинаризацию нейронных сетей, там показали, что совершенную модель глубокого обучения они могут реализовать на чипе по цене $ 5, таком, на котором реализована система Raspberry Pi.
Интересно, что новые структуры бинаризации принципиально меняют тип оптимальной логики обработки. Вместо 32-разрядных сверток с плавающей запятой, необходимых для реализации нейронных сетей, им нужны только операции подсчета битов. Кроме того, требования к вычислительным ресурсам могут быть дополнительно уменьшены, если эти алгоритмы реализованы на специально разработанном чипе.
Можно предсказать, что алгоритмические усовершенствования не остановятся. Иногда для разработки (или, возможно, открытия) новых алгоритмов требуются годы или даже десятилетия. Эти прорывы нельзя предсказать так же, как вычислительные достижения, обусловленные законом Мура. Они не детерминированы по своей природе. Но когда они происходят, весь пейзаж техники меняется.
Высокоэффективное алгоритмическое нововведение в ИИ представляет собой некоторый очень неожиданный неизвестный фактор, т.е. «черный лебедь». Такие разработки требуют постоянного внимания из-за неопределенности момента открытия нового алгоритма и непредсказуемости воздействия на ход развития ИИ.