Квантование в нейронных сетях

[vak]

Познавательная лекция про проблему квантования от Pete Warden, автора книжки про TinyML.

Watch on YouTube

Comments

[sab123]

Я тут, кстати, поэкспериментировал с таким, и выходит, что использовать короткие числа для тренинга невозможно - мелкие градиенты теряются. Это только модифицировать уже тренированную модель. Но и там проблемы, поскольку коэффициенты норовят вылазить из дмапазона [-1, 1].

[vak]

Для тренинга годится только fp32. За последние десять лет с этим много экспериментировали и убедились.

[perdakot]

Я думал это хоть про vector quantization, а тут какое-то совсем копетанство.