Про форматы чисел с плавающей точкой, познавательное

[vak]

"FP64, FP32, FP16, BFloat16, TF32, and other members of the Zoo"



Библиотека Си++, реализующая плавающие числа с произвольным размером экспоненты и мантиссы: https://github.com/oprecomp/FloatX

К примеру, BFloat16 реализуется как тип float<8,7>. Размер экспоненты равен 8, размер мантиссы - 7.

Comments

[ircicq]

Если логарифм не округлять до целого или 1/2, 1/4..., встаёт та же проблема: как его представлять?

[juan_gandhi]

или bfloat16, или float16 - зависит от того, хватит ли пяти бит для порядка (вряд ли)

[vak]

Прелесть bfloat16 двойная.

Во-первых, тот же размер экспоненты, что у традиционного float32. То есть одним махом избавляемся от проблемы quantization. Тренируем сетку как обычно на fp32, а потом просто укорачиваем мантиссы.

Во-вторых, тот же размер мантиссы, что у int8. То есть в хардвере можно использовать те же умножители, что и для классического целочисленного inference.