А разве не то, что ректифицированая модель может работать на неміслимо слабом железе? Давеча у Гирлинга смотрел, как он deepseek на raspberry pi5 гоняет.
В любом случае, ректифицированіе ллм означают переход от централизованіх единичніх єкземпляров к массовому зоопарку конкурирующих особей, что неминуемо приведет к дивергенции и техноєволюции.
Я запускал DeepSeek на МакБукеПро (M4, 48gb), работает очень неплохо. Главное ограничение - память, модели размером до 32b включительно работают хорошо, 70b модель полностью не влезает в RAM и начинается свап, скорость при этом падает радикально. Думаю что на 96gb машине 70b модель тоже бы работала ОК.
Кстати, на АРМ маке модели работают лучше чем на типовых десктопных машинах благодаря unified memory - вся RAM доступна для GPU, а маки доступны с памятью намного большей чем у бытовых NVIDIA видеокарт.
Необходимость оптимизаций LLM давно назрела, пока что и OpenAI, и другие работают в основном над улучшением моделей и фичами, сейчас наверное начнется раунд оптимизаций. Стандартный цикл софтверного девелопмента :-)
Мне с DeepSeek еще другое интересно - действительно ли их модель выдает результаты на уровне OpenAI, и если да - как они этого добились? OpenAI утверждает что по логам они определили что команда DeepSeek занималась дисциляцией OpenAI моделей, если это так - то хорошие результаты обьяснимы, но это совсем другое чем тренировать модель с нуля.
![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
vak
no subject
Date: 2025-01-31 04:38 (UTC)no subject
Date: 2025-01-31 07:34 (UTC)В любом случае, ректифицированіе ллм означают переход от централизованіх единичніх єкземпляров к массовому зоопарку конкурирующих особей, что неминуемо приведет к дивергенции и техноєволюции.
no subject
Date: 2025-01-31 08:59 (UTC)https://vak.dreamwidth.org/1337833.html?thread=9925353#cmt9925353
no subject
Date: 2025-01-31 09:19 (UTC)no subject
Date: 2025-01-31 09:32 (UTC)no subject
Date: 2025-01-31 18:04 (UTC)Кстати, на АРМ маке модели работают лучше чем на типовых десктопных машинах благодаря unified memory - вся RAM доступна для GPU, а маки доступны с памятью намного большей чем у бытовых NVIDIA видеокарт.
no subject
Date: 2025-01-31 18:09 (UTC)Необходимость оптимизаций LLM давно назрела, пока что и OpenAI, и другие работают в основном над улучшением моделей и фичами, сейчас наверное начнется раунд оптимизаций. Стандартный цикл софтверного девелопмента :-)
Мне с DeepSeek еще другое интересно - действительно ли их модель выдает результаты на уровне OpenAI, и если да - как они этого добились?
OpenAI утверждает что по логам они определили что команда DeepSeek занималась дисциляцией OpenAI моделей, если это так - то хорошие результаты обьяснимы, но это совсем другое чем тренировать модель с нуля.
no subject
Date: 2025-01-31 18:20 (UTC)no subject
Date: 2025-01-31 18:46 (UTC)