Как добавить локальный ИИ

Чтобы настроить локальный ИИ, можно использовать, например, инструмент Ollama. Он позволяет запускать модели ИИ на собственном компьютере.

Пошаговая инструкция настройки локального ИИ с помощью Ollama :

Идём на сайт https://huggingface.co/ регистрируемся и получаем api ключ :
Пример : hf_dsBNhkKHHgkjghQmsJWAKHkhDWk

Установим необходимые пакеты:
sudo apt install -y curl gnupg nodejs npm

Установи Ollama (фреймворк для локального запуска крупных языковых моделей (LLM). Он позволяет пользователям запускать такие модели, как Llama 2, Mistral, Dolphin Phi и другие, на своём устройстве без необходимости подключения к сети)
sudo curl -fsSL https://ollama.com/install.sh | sh

Установим Pip (от англ. «Pip Installs Packages») — инструмент командной строки, который позволяет пользователям устанавливать и управлять пакетами программного обеспечения на Python.
Если вы устанавливаете не библиотеку, а приложение или CLI-инструмент , можно использовать pipx:
Установим Pipx — инструмент, который позволяет устанавливать пакеты в отдельной, изолированной среде. Он создан как альтернатива pip, ориентированная на конечных пользователей, а не программистов. С помощью pipx можно устанавливать приложения Python, запускать их как стандартные команды Linux и легко удалять.
sudo apt install -y python3-pip pipx
Добавить путь PATH для установленных приложений:
pipx ensurepath
Библиотека huggingface_hub позволяет вам взаимодействовать с Hugging Face Hub, платформой машинного обучения:
pipx install huggingface_hub

Чтобы использовать Hugging Face Hub, сначала авторизуйтесь:
huggingface-cli login (после чего добавить полученный с сайта api)

pipx — отличный способ устанавливать Python-приложения без риска повредить систему.

Загрузить модели :
huggingface-cli download Qwen/Qwen2-0.5B-Instruct-GGUF qwen2-0_5b-instruct-q5_k_m.gguf —local-dir /ollama/models —local-dir-use-symlinks False
huggingface-cli download Qwen/Qwen2-0.5B-Instruct-GGUF qwen2-0_5b-instruct-q5_0.gguf —local-dir /ollama/models —local-dir-use-symlinks False

Создать файл настроек моделей:
echo «FROM /ollama/models/qwen2-0_5b-instruct-q5_k_m.gguf» >/ollama/Modelfile
echo «FROM /ollama/models/qwen2-0_5b-instruct-q5_0.gguf» >/ollama/Modelfile

Создаём модель в Ollama
ollama create qwen2-0_5b-instruct-q5_k_m -f /ollama/Modelfile
ollama create qwen2-0_5b-instruct-q5_0 -f /ollama/Modelfile

После этого запускаем модель:
ollama run qwen2-0_5b-instruct-q5_k_m
ollama run qwen2-0_5b-instruct-q5_0

команда проверки что ollama запущен
$ sudo lsof -i :11434
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
ollama 5804 ollama 3u IPv4 27146 0t0 TCP localhost:11434 (LISTEN)

список моделей
$ ollama list
NAME ID SIZE MODIFIED
qwen2-0_5b-instruct-q5_k_m:latest 4cf47d118d2e 420 MB 5 minutes ago

на сервер с debian 12 установил ollama и языковую модель qwen2-0_5b-instruct-q5_k_m:latest,
нужно разработать локальное react приложение аналогичное chat.qwen.ai для работы со звуковой моделью
использовать nodejs версии 16

nvm install 16
nvm use 16

sudo killall -9 ollama
ollama list
ollama rm myqwen:latest
sudo systemctl stop ollama
sudo rm /usr/local/bin/ollama
rm -rf ~/.ollama
sudo rm -vf /etc/systemd/system/ollama.service
sudo userdel -r ollama
sudo groupdel ollama
pipx uninstall huggingface_hub
sudo apt purge python3-pip pipx
sudo apt autoremove
sudo apt remove -y nodejs npm
sudo apt autoremove