Куй дипсика пока горячо

[vak]

Раз уж публика увлеклась новомодной нейронной сетью DeepSeek, коллеги решили запустить её на нашем чипе. Причём с очень приличной производительностью: больше 30 токенов в секунду. Общее потребление системы не превышает 10 ватт.

Comments

[juan_gandhi]

О ни фига себе! Вот это отличный бенчмарк! А сколько на большой модели deepseek уйдёт на вычисление 2*3-1?

[sobriquet9]

Это дистиллированная модель, маленькая. Большая в этот чип вряд ли влезет.

[vak]

И большая тоже влезет, если попинать маленько. А маленькую модель народ за одну субботу запихнул, в качестве "проекта выходного дня". 😀

[vak]

На такой вопрос с кондачка не ответишь. Сначала придётся проделать всю работу по квантованию, компиляции, отладке и запуску модели, и только после этого проявится численный ответ. 😀

Когда-нибудь наши application инженеры сделают, тогда я и скажу результат.

[juan_gandhi]

А, ну да. Ну ладно. Меня позабавило, что на моём маке он минут так десять размышлял, в процессе излагая, как он это будет вычислять.

[spamsink]

Это скорость чего - анализа промпта или генерации ответа?

[vak]

Это генерация ответа.
Время анализа промпта от 0.67 до 2.50 секунд.

[spamsink]

Вещь!

[mikerrr]

1.5B - это ж ни о чем,
эмерджентные свойства модели (тот самый интеллект) начинаются с 70B,как я понимаю

[vak]

Вовсе необязательно. Умность модели слегка кореллирует с размером, но несильно. У слишком больших моделей начинаются другие проблемы (overfitting).

[mikerrr]

Тут я с вами не согласен