Троичная логика в нейронных сетях

[vak]

Умные товарищи упростили веса нейронных сетей до троичной логики, и доказывают, что для языковых моделей это самое то, что надо.

"Scalable MatMul-free Language Modeling"

"By constraining the weights to the set {−1, 0, +1} and applying additional quantization techniques, MatMul operations are replaced with addition and negation operations."

Исходники на Гитхабе: github.com/ridgerchu/matmulfreellm

Comments

[juan_gandhi]

Ха, действительно - при большой размерности почти пофиг.

[x86128]

Осталось только придумать стабильный троичный транзистор

[juan_gandhi]

Диод двоичен, триод троичен.

На чём Сетунь работала? На лампах?

[x86128]

Давно читал про Сетунь. Вроде бы было две версии. Первая на каких-то хитрых но медленных элементах на основе феритовых колечек, а практическая версия кодировала трит двумя линиями, на которых двоичный сигнал.