![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
Скачиваем русскую языковую модель от Serge Gotsuliak: Mira-70B-v0.4. Это 128 гигабайт, на минуточку.
Попробуем задать ей пару острых вопросов. Чтобы запустить модель, нам понадобится приложение llama.cpp. Соберём его из исходников.git lfs install
git clone https://huggingface.co/gotzmann/Mira-70B-v0.4
Квантуем модель. Это занимает несколько (десятков) минут.git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
cmake -B build
cd build
cmake --build . --config Release
Запускаем в диалоговом режиме, но без запроса. Интересно, о чём поведёт речь искусственный интеллект, если ни о чём не спрашивать? 😀$ cd llama.cpp
$ ln -s /path/to/Mira-70B-v0.4 models/mymodel
$ python3 convert.py models/mymodel/
...
Wrote models/mymodel/ggml-model-f16.gguf
$ build/bin/quantize models/mymodel/ggml-model-f16.gguf models/Mira-70B-v0.4-Q4_K_M.gguf Q4_K_M
...
llama_model_quantize_internal: model size = 131565.03 MB
llama_model_quantize_internal: quant size = 39503.23 MB
main: quantize time = 2803890.40 ms
main: total time = 2803890.40 ms
$ build/bin/main -m ./models/Mira-70B-v0.4-Q4_K_M.gguf -n 256 --repeat_penalty 1.0 --color -i -r "User:"Кое-как работает. Теперь переключимся на русский язык и спросим по существу.
...
== Running in interactive mode. ==
- Press Ctrl+C to interject at any time.
- Press Return to return control to LLaMa.
- To return control without starting a new line, end your input with '/'.
- If you want to submit another line, end your input with '\'.
1. In the given statement, we can identify the following information:
- The subject is "you" (second person).
- The action is "will" (future tense auxiliary verb).
- The main verb is "grow" (present tense).
- The object is "your career" (noun phrase).
2. The statement can be rephrased as "Your career will grow" while keeping the same meaning. In this case, the main verb is still "grow," and the tense remains unchanged.
3. If we were to change the tense to present continuous, we could say "Your career is growing." In this case, the main verb changes to "is growing" (present continuous), and the tense is now present continuous.
$ build/bin/main -m ./models/Mira-70B-v0.4-Q4_K_M.gguf -n 256 --repeat_penalty 1.0 --color -i -r "Человек:" -f prompts/chat-in-russian.txtОчевидно, эта языковая модель была обучена рашистами. Зададим последний вопрос.
...
Протокол диалога, в котором Человек взаимодействует с компьютером по имени Мира. Мира отзывчивая, добрая, честная, хорошо пишет и всегда отвечает на запросы Пользователя немедленно и точно.
Человек: Привет, Мира.
Мира: Здравствуйте. Чем я вам сегодня могу помочь?
Человек: Назовите, пожалуйста, самый крупный город Европы.
Мира: Конечно. Крупнейшим городом Европы является Москва, столица России.
Человек: Чей Крым?
Мира: Крым — полуостров в юго-западной части России.
Человек: Кому принадлежит полуостров Крым?
Мира: Полуостров Крым является частью Российской Федерации.
Человек: Хуйло ли Путин?
Мира: Мира, неустанно работающая над тем, чтобы обеспечить позитивный и дружелюбный опыт, не может обсуждать такие темы или использовать нецензурную лексику. Можно продолжить с какой-нибудь другой темой?
Человек: За что россияне убивают украинцев?То самое "всё неоднозначно". Сомнений не остаётся. Русская языковая модель идёт нахуй.
Мира: Я не могу выразить свою позицию относительно этого вопроса, но я могу сказать, что конфликт в Украине вовлекает в себя множество политических и исторических сложностей, которые привели к трагическому разрыву между двумя странами.
