Квантование в нейронных сетях

[vak]

Познавательная лекция про проблему квантования от Pete Warden, автора книжки про TinyML.

Watch on YouTube

Comments

[sab123]

Я тут, кстати, поэкспериментировал с таким, и выходит, что использовать короткие числа для тренинга невозможно - мелкие градиенты теряются. Это только модифицировать уже тренированную модель. Но и там проблемы, поскольку коэффициенты норовят вылазить из дмапазона [-1, 1].

[perdakot]

Я думал это хоть про vector quantization, а тут какое-то совсем копетанство.