Штучний інтелект і алгоритми
Олексій Андрєєв, Джеф Петерс, Autotech Ventures
За останні десятиліття спостерігається не тільки кардинальне зростання продуктивності обчислювальних систем, але і вдосконалення алгоритмів, які вважаються складними. Так, професор Мартін Груцчел зауважив, що задача лінійного програмування, яка вирішувалася б за 82 роки у 1988 році, може бути вирішена за одну хвилину в 2003 році. Це пояснюється тим, що комп’ютери стали в 1000 разів швидшими, а алгоритми – 43 000 разів ефективнішими. Аналогічним чином, професор МТІ Дімітріс Берсімас показав, що між 1991 і 2013 роками алгоритми вирішення цілочислових задач прискорилися в 580 000 разів, а апаратне прискорення суперкомп’ютерів збільшилося в 320 000 разів.
Що це означає для такої галузі, як штучний інтелект (Ш І), що бурхливо розвивається ?
За останні півтора десятиліття в академічному, промисловому і стартап-світі стався вибух розвитку Ш І. Ймовірно, точка перегину в історії Ш І виникла, коли команда AlexNet з Університету Торонто в 2012 році перемогла в проекті ImageNet Large Scale Visual Recognition Challenge (ILSVRC), використовуючи алгоритм глибокого навчання (deep learning). З тих пір глибоке навчання стало ключовим формулюванням для реалізації Ш І.
Досягнення в галузі комп’ютерного зору поширилися на обробку натуральної мови та інші галузі Ш І. Інтелектуальні колонки звуковідтворення, комп’ютерний переклад в реальному часі, роботизовані хедж-фонди і веб-довідники вже більше не дивують споживачів.
Ш І також став рушійною силою в транспортній галузі в системах допомоги водінню (ADAS), автономному управлінні, контролі якості виробництва, людино-машинному інтерфейсі в автомобілі і т. д.
Точка перегину в розвитку Ш І з глибоким навчанням супроводжувалася агресивним зростанням попиту на графічні акселератори. Через свою паралельну обчислювальну потужність графічні акселератори виявилися ефективними для реалізації обчислень, що використовуються алгоритмами глибокого навчання. Фірма Nvidia, «знищила» своїх конкурентів і побачила, що ціна на її акції зросла у 20 разів з 2013 по 2018 рік.
Qualcomm, ARM та інші великі виробники мікросхем зосередили увагу на розробці чіпів Ш І, в той час як фірма Intel придбала систему Ш І Nervana Systems. Компанії Google, Facebook, Apple і Amazon задумалися про створення своїх власних процесорів обробки Ш І для центрів обробки даних. Є також кілька стартапів, наприклад, Graphcore, Mythic, Wave Computing, Cerebras, SambaNova, які намагаються побудувати досконалішу обчислювальну машину для алгоритмів Ш І. Деякі інші, такі як D-wave Systems та IBM, активно вивчають паралельні архітектури. Але більшість розробок таких чіпів мають на меті наздогнати або перегнати Nvidia.
Зараз триває бурхливий розвиток альтернативних проектів чіпів Ш І, незважаючи на їхні величезні витрати на розробку. Кінцева мета гри в Ш І настільки захоплююче велика, що учасники готові вкладати значні кошти, адаптуючи апаратне забезпечення і основні алгоритми. Але виникає питання, чи добре підходять алгоритми завтрашнього дня до існуючої технології напівпровідникових чіпів?
Ймовірно, алгоритми Ш І завтрашнього дня можуть зажадати різні обчислювальні архітектури, ресурси пам’яті, можливості передачі даних і т.і.
Незважаючи на те, що алгоритми глибокого навчання були відомі давно, тільки нещодавно вони були реалізовані на практиці завдяки тому, що Г. Муром були передбачені успіхи в збільшенні обсягів апаратних засобів. Початкові алгоритми не були розраховані на інженерну реалізацію, оскільки у ту пору дослідники не могли мріяти про обчислювальні потужності, які дають сьогодні мікросхеми за ціною 1000 доларів. Сьогодні в багатьох реалізаціях навчання, для підвищення точності розпізнавання, просто додають більше шарів нейромережі або аналізують більше даних, використовуючи ті самі алгоритми. Лише невелика частина дослідників зосереджена на важкій проблемі поліпшення самих алгоритмів.
Розроблено методи, які обрізають надлишкові математичні операції для скорочення часу обчислення, стискають згортки до менших матриць для зменшення вимог до пам’яті або будують бінарні вагові матриці для спрощення математичних операцій. Це перші алгоритмічні досягнення в розпізнаванні образів, які починають випереджати апаратні досягнення.
Наприклад, система DeepScale, результат дослідження UC Berkeley, таким способом «стискає» складність вирішення завдання Ш І для ADAS. Їх модель нейронної мережі продемонструвала 30-кратне прискорення в порівнянні з провідними моделями виявлення об’єктів, використовуючи тільки удосконалення алгоритму і зменшуючи обсяг пам’яті.
Ще один приклад такого алгоритмічного стрибкоподібного прискорення – система Ш І, яка розроблена в Аленскому інституті штучного інтелекту. Використовуючи бінаризацію нейронних мереж, там показали, що досконалу модель глибокого навчання вони можуть реалізувати на чіпі за ціною $ 5, такому, наприклад, на якому реалізована система Raspberry Pi.
Цікаво, що нові структури бінаризації принципово змінюють тип оптимальної логіки обробки. Замість 32-розрядних згорток з плаваючою комою, необхідних для реалізації нейронних мереж, їм потрібні тільки операції підрахунку бітів. Крім того, вимоги до обчислювальних ресурсів можуть бути додатково зменшені, якщо ці алгоритми реалізовані на спеціально розробленому чіпі.
Можна передбачити, що алгоритмічні вдосконалення не зупиняться. Іноді для розробки (або, можливо, відкриття) нових алгоритмів потрібні роки або навіть десятиліття. Ці прориви у розвитку алгоритмів не можна передбачити так само, як обчислювальні досягнення, обумовлені законом Мура. Вони не детерміновані за своєю природою. Але коли такі прориви відбуваються, весь пейзаж техніки змінюється.
Високоефективне алгоритмічне нововведення в Ш І являє собою деякий дуже несподіваний невідомий фактор, тобто “чорний лебідь”. Такі розробки вимагають постійної уваги через невизначеність моменту відкриття нового алгоритму і непередбачуваність впливу на хід розвитку Ш І.