Новая форма ИИ?

Исследователи представляют новую модель машинного обучения, которая заменяет слои глубоких нейронных сетей дифференциальными уравнениями.

Распространенные уравнения могут стать новой звездой небес искусственного интеллекта: эта концепция была выбрана на одной из самых важных конференций ИИ «NeurIPS» в конце 2018 года в Монреале, среди лучших из почти 5000 представленных научных работ. Ее техническое название: «ODE-Solver», где ODE на английском языке означает: обыкновенные дифференциальные уравнения и «решатель» для их решения. Они математически моделируют, как различные величины или характеристики (переменные) ведут себя по отношению друг к другу.

Искусственные нейронные сети были изобретены еще в 1950-х годах. Наиболее распространенными среди них являются так называемые сверточные нейронные сети (CNN), такие как GoogleNet, которые наиболее известны своими навыками распознавания изображений. Они проталкивают данные, поступающие на входной слой — например, пиксели изображения — через сеть слоистых узлов, эквивалент нейронов в мозге. Информация взвешивается и сопоставляется друг с другом таким образом, что они воспринимают и анализируют данные так хорошо, как это возможно, что дает наилучшую возможную модель на сегодня. Успешный GoogLeNet охватывает более 20 слоев, так называемая ResNet достигает даже 1000 и более.

По словам ученого Дэвида Дювено и его команды из Университета Торонто (можно сказать, что это Канадская Силиконовая долина), с помощью нового решателя ODE можно сопоставлять функции по мере увеличения числа уровней. Таким образом, обычные дифференциальные уравнения могут захватывать «непрерывную динамику скрытых единиц» искусственной нейронной сети, объясняют авторы в своей статье, ранее опубликованной на платформе Arxiv . Идея не нова, как они сами признают; другая канадская команда уже предложила это в 2017 году . Но они будут «использовать ODE-решатель напрямую», не избегая искусственной нейронной сети.

Новый подход к созданию искусственного интеллекта

Решатели ODE могут лучше отражать динамику естественных данных: при измерении с нерегулярными интервалами они будут обрабатывать их лучше, чем искусственные нейронные сети. Подставляя уравнения для дискретных слоев, больше не нужно искать оптимальное количество слоев, пишет американский научный журнал MIT Technology Review. Ученый-компьютерщик и эксперт по машинному обучению Марк Дайзенрот, младший профессор Имперского колледжа в Лондоне, прокомментировал в Твиттере : «Интересная идея для понимания слоев нейронных сетей как дискретных событий непрерывной версии».

В качестве новинки семейства ИИ недавно выделялись так называемые Генеративные Состязательные Сети (GAN — Generative Adversarial Networks). Их концепция проста и успешна: одна сеть конкурирует с другой и учится на своих успехах и неудачах. Например, она пытается создать изображения, которые другая не может отличить от реальных изображений, или разрабатывает стратегии взлома, чтобы перехитрить сеть противника — как ученик по боксу, работающий без тренера. Эта концепция также стала известна после того, как была представлена на конференции NIPS.