Нейронные сети разбились об фрактал

[vak]

Покажу красивые рисуночки, а подробности в статье:

"The boundary of neural network trainability is fractal" (PDF)

Абстракт: "Некоторые фракталы — например, те, что связаны с множествами Мандельброта и квадратичными множествами Жюлиа — вычисляются путем итерации функции и определения границы между гиперпараметрами, для которых результирующий ряд расходится или остается ограниченным. Обучение нейронной сети аналогичным образом включает итерацию функции обновления (например, повторные шаги градиентного спуска), что может привести к сходящемуся или расходящемуся поведению и может быть чрезвычайно чувствительно к небольшим изменениям гиперпараметров. Мотивированные этими сходствами, мы экспериментально изучаем границу между гиперпараметрами нейронной сети, которые приводят к стабильному или расходящемуся обучению. Мы обнаружили, что эта граница является фрактальной более чем на десять порядков масштаба во всех протестированных конфигурациях."

Deep linear full batch (fractal dim 1.17)



ReLU full batch (fractal dim 1.20)



tanh dataset set size 1 (fractal dim 1.41)



tanh minibatch (fractal dim 1.55)



tanh full batch (fractal dim 1.66)

Comments

[juan_gandhi]

Какая идейка! (И как-то бесперспективно получается.)

[vak]

Становится понятно, почему обучение нейронных сетей не является лёгкой задачей. Не удаётся выработать универсальное правило: делай так-то и так-то, получишь результат. Хрен знает что получишь, фрактал ведь.

И проецируя обратно на обучение естественного интеллекта (биологических человеков), тоже интересно выходит. Всех учат, но не всех удаётся обучить. Потому что у сапиенсов в соображалке замешивается аналогичный фрактал.

[sab123]

При обучении нейронных сетей выбирают достаточно малый шаг, чтобы не получить фрактал. Но да, проблема выбора размера шага - сложная.

[kondybas]

нужно нейросеть обучить на обучение нейросетей.

[vak]

Есть такая!
"Человечество" называется. 😀

[kondybas]

С человеками, кстати, прямое следствие ложности тезиса об єгалите. Люди не равні от рождения, и довольно глупо пихать их под унифицированній пресс образования (как єто делают упоротіе финні). Из некоторіх получается ожидаемое, но большинство просто плющит без особой пользі.

[sab123]

Тут на самом деле (а) ничего такого прям неизвестного и (б) видимо его шаги ОЧЕНЬ большие. Мало того, что шаг 1e+1 и даже 1e-1 громадный, но надо еще и не забывать, что при стохастическом спуске шаг еще и по сути умножается на количество примеров в проходе (или с батчами, на количество батчей). С очень большиим шагами мы на каждом шаге проскакиваем очень много локальных минимумов, и скорее всего глобальный минимум тоже, и приземляется неизвестно где. И тут все очень сильно зависит от того, где мы приземлились. Если в этом месте градиент оказывается маленький, мы можем его умножить на большой размер шага, и теперь скорее всего опять проскочить глобальный минимум и приземлиться назад где-то возле того, откуда начали предыдущий шаг. Если градиент большой, то мы выскакиваем вообще в дебри. То есть, схождение или расхождение сводится к тому, получается ли нам удерживаться на более-менее том же расстоянии от минимума, где мы начали, или мы начинаем отдаляться все дальше и дальше. То есть, да, велик элемент случайности того, в какую точку мы попадем, и получается фрактальность. Если делать не всего пару сотен шагов, а хотя бы несколько тысяч, то скорее всего ВСЕ его примеры на таком шаге разойдутся. Фактальность сводится только к тому, на каком шаге мы наконец-то случайно попадем в неудачную точку.

Интересный момент заключатся в том, что если постепенно увеличивать размер шага, то позывы к расхождению делаются видны даже на размере шага, где расхождения еще нет. Они видны на графике ошибки. Если шаг достаточно маленький, график ошибки сидержит мелкие зигзаги, но ошибка плавно уменьшается по мере шагов. Когда шаг растет, амплитуда зигзагов ошибки увеличивается, и это - прямой сигнал, что мы близки к расхождению. Зигзаги означают маленькие расхождения, которым не удается вырасти до полного расхождения