vak: (Default)
Serge Vakulenko ([personal profile] vak) wrote2019-09-09 11:16 am

Как обучаются нейронные сети

Как работают свёрточные нейронные сети - уже давно не тайна. Выглядит как магия, но на самом деле просто математика, возня с числами. На ролике можно видеть, как простейшая сеть (MNIST CNN) распознает цифры.



Вот чуть более сложная сеть, натренированная на определение объектов типа автомобиль, грузовик, самолёт, корабль, лошадь и т.п.



Всё это хорошо, пока у вас есть откуда скачать готовую натренированную модель. Но как самому натренировать модель с нуля, на своих данных? Практически это нетрудно: берёте один из известных программных пакетов и вперёд. Тут и начинается чёрная магия: мало кто разбирается, как происходит обучение. Хороших книг на эту тему мне не удалось обнаружить. Но нашлась интернет-публикация, где процесс детально объясняется:

"How the backpropagation algorithm works"

Эта же статья в формате PDF: http://www.math.hkbu.edu.hk/~mhyipa/nndl/chap2.pdf
sab123: (Default)

[personal profile] sab123 2019-09-09 07:46 pm (UTC)(link)
Мне очень понравилось изложение в http://www.numericinsight.com/uploads/A_Gentle_Introduction_to_Backpropagation.pdf
vit_r: default (Default)

[personal profile] vit_r 2019-09-09 08:08 pm (UTC)(link)
Помнится, в Цюрихе за круглым столом, где участвовала и тётя, ответсвенная за медицинское применение Ватсона тоже основным вопросом было "как натренировать модель"?