bfloat16

[vak]

Полезная шпаргалка от Интела: bf16-hardware-numerics-definition-white-paper.pdf

Описывает подробности реализации чисел с плавающей точкой в формате BFloat16, или для краткости BF16.

BF16 отличается от стандартного FP32 (известного в Си как float) несколькими моментами.

• Размер мантиссы уменьшен с 23 бит до 7 бит.
• Размер экспоненты остаётся тот же, 8 бит.
• Денормализованное число на входе операции считается нулём.
• Денормализованный результат сбрасывается в ноль.
• Результат округляется до ближайшего чётного.
• Inf и NaN поддерживаются как обычно.
• Никаких исключений или прерываний. В частности, SNaN не вызывает исключения.

Comments

[vak]

Про MSFP не упоминали на совещании? :)
Тоже есть такой формат плавающей точки, перспективный для AI.

https://proceedings.neurips.cc/paper/2020/file/747e32ab0fea7fbd2ad9ec03daa3f840-Paper.pdf

[spamsink]

Так ведь bfloat16 в DSP уже реализован, а когда MSFP в каком-нибудь хардвере будет, тогда и будем посмотреть. :)