Куй дипсика пока горячо

[vak]

Раз уж публика увлеклась новомодной нейронной сетью DeepSeek, коллеги решили запустить её на нашем чипе. Причём с очень приличной производительностью: больше 30 токенов в секунду. Общее потребление системы не превышает 10 ватт.

Comments

[juan_gandhi]

О ни фига себе! Вот это отличный бенчмарк! А сколько на большой модели deepseek уйдёт на вычисление 2*3-1?

[sobriquet9]

Это дистиллированная модель, маленькая. Большая в этот чип вряд ли влезет.

[vak]

И большая тоже влезет, если попинать маленько. А маленькую модель народ за одну субботу запихнул, в качестве "проекта выходного дня". 😀

[vak]

На такой вопрос с кондачка не ответишь. Сначала придётся проделать всю работу по квантованию, компиляции, отладке и запуску модели, и только после этого проявится численный ответ. 😀

Когда-нибудь наши application инженеры сделают, тогда я и скажу результат.

[juan_gandhi]

А, ну да. Ну ладно. Меня позабавило, что на моём маке он минут так десять размышлял, в процессе излагая, как он это будет вычислять.