Верховный алгоритм

★★★★★ Прочитал МИФовскую новинку.

Автор рассказывает о машинном обучении.

Педро Домингос — эксперт по машинному обучению и искусственному интеллекту, профессор Вашингтонского университета, лауреат нескольких профессиональных наград.

Он считает, что все знание можно извлечь из данных с помощью одного универсального обучающегося Верховного алгоритма.

Верховный алгоритм — последнее, что нам придётся изобрести, потому что, как только мы «спустим его с цепи», он сам изобретёт вообще всё, что только можно придумать. Всё, что нам нужно — дать ему достаточно подходящих данных, и он откроет соответствующее знание.

Стоит изобрести Верховный алгоритм и наступит Армагеддон счастье:

Технологический прогресс заметно ускорится, причём не только в компьютерных науках, но и во многих других областях. Это, в свою очередь, будет способствовать экономическому росту и уменьшит нищету. Типовые задачи станут автоматизированы, а люди найдут себе занятия поинтереснее. Все виды деятельности будут выполняться качественнее, чем сейчас: лучше обученными людьми, компьютерами или и теми и другими. Падения на рынках ценных бумаг будут происходить реже и без тяжелых последствий. Благодаря сети сенсоров, которые опутают нашу планету, и обученным моделям, которые станут моментально обрабатывать их данные, прогресс больше не будет идти вперед на ощупь: здоровье планеты пойдет на поправку. Модели начнут договариваться с миром от вашего имени, играя в замысловатые игры с моделями людей и организаций. А в результате всех этих улучшений мы окажемся счастливее, продуктивнее и долговечнее.

Всё выглядит очень заманчиво, но как-то уж чересчур заманчиво. Уж очень станет просто и легко после создания Верховного алгоритма. Здравый смысл и здоровая русская паранойя подсказывают что так не бывает.

Но книжка мне понравилась. Она ставит главный вопрос — можем ли мы доверять сами себе?

Хайлайты • Microsoft Windows содержит 45 миллионов строк кода, — к тому же к созданному человеком коду нельзя применить такие простые решения, как прибавление к функции приспособленности штрафа за сложность.

• Когда количество элементов, необходимых алгоритму для работы, растет в геометрической прогрессии с увеличением размера вводных данных, информатики называют это комбинаторным взрывом и бегут в укрытие.

• Представьте, что вас похитили, завязали глаза и бросили где-то в Гималаях. Голова раскалывается, с памятью не очень, но вы твердо знаете, что надо забраться на вершину Эвереста. Как быть? Вы делаете шаг вперед и едва не скатываетесь в ущелье. Переведя дух, вы решаете действовать систематичнее и осторожно ощупываете ногой почву вокруг, чтобы определить самую высокую точку. Затем вы робко шагаете к ней, и все повторяется. Понемногу вы забираетесь все выше и выше. Через какое-то время любой шаг начинает вести вниз, и вы останавливаетесь. Это градиентное восхождение. Если бы в Гималаях существовал один Эверест, причем идеальной конической формы, все было бы прекрасно. Но, скорее всего, место, где все шаги ведут вниз, будет все еще очень далеко от вершины: вы просто застрянете на каком-нибудь холме у подножья. Именно это происходит с обратным распространением ошибки, только на горы оно взбирается в гиперпространстве, а не в трехмерном пространстве, как наше. Если ваша сеть состоит из одного нейрона и вы будете шаг за шагом подниматься к наилучшим весам, то придете к вершине. Но в многослойном перцептроне ландшафт очень изрезанный — поди найди высочайший пик.