vak: (Робот 1)
[personal profile] vak
Раз уж публика увлеклась новомодной нейронной сетью DeepSeek, коллеги решили запустить её на нашем чипе. Причём с очень приличной производительностью: больше 30 токенов в секунду. Общее потребление системы не превышает 10 ватт.

Date: 2025-02-18 20:30 (UTC)
juan_gandhi: (Default)
From: [personal profile] juan_gandhi
О ни фига себе! Вот это отличный бенчмарк! А сколько на большой модели deepseek уйдёт на вычисление 2*3-1?

Date: 2025-02-18 23:31 (UTC)
sobriquet9: (Default)
From: [personal profile] sobriquet9

Это дистиллированная модель, маленькая. Большая в этот чип вряд ли влезет.

Date: 2025-02-19 12:43 (UTC)
juan_gandhi: (Default)
From: [personal profile] juan_gandhi
А, ну да. Ну ладно. Меня позабавило, что на моём маке он минут так десять размышлял, в процессе излагая, как он это будет вычислять.