Про форматы чисел с плавающей точкой, познавательное

[vak]

"FP64, FP32, FP16, BFloat16, TF32, and other members of the Zoo"



Библиотека Си++, реализующая плавающие числа с произвольным размером экспоненты и мантиссы: https://github.com/oprecomp/FloatX

К примеру, BFloat16 реализуется как тип float<8,7>. Размер экспоненты равен 8, размер мантиссы - 7.

Comments

[spamsink]

bfloat16 удобен с точки зрения преобразования <-> float32, но для разных вычислений могут пригодиться и числа с 6 или 7 битами порядка. 3⏨38 кажется многовато, а 6.5⏨4 - маловато.

[vak]

Поигравшись с разными размерами полей float, народ выяснил, что в принципе достаточно 6 бит экспоненты. На рисунке - потеря точности нейронной сетки от размера экспоненты и мантиссы.



Вот статья: https://pdfs.semanticscholar.org/da1f/299a7149b98c50b508a1c9886ff3d01b0233.pdf

Но суть не в экономии битов, а в проблеме quantization, которую приходится решать, если мы уменьшаем экспоненту. А решать её трудно и дорого, часто ценой retraining.

[spamsink]

Немонотонность на w=5 очень удивительна.