ChatGPT, DeepSeek и многие другие популярные ИИ-модели юзать, как известно, можно и локально тоже, что в ряде случаев гораздо удобнее и эффективнее, чем возится с их онлайн-версиями.
Другое дело, что и ChatGPT, и DeepSeek на комп надо и поставить, и затем настроить правильно. А это, как показывает практика, получается не не всегда, не у всех и/или не сразу.
В этой связи — немного о тех проблемах, которые чаще всего возникают в процессе как раз установки и настройки ИИ-модели. Ну и о том, как их быстрее и проще устранить.
Не пропустите: Если не работает ChatGPT на iPhone после апдейта iOS
Итак, по порядку:
#1 — ошибка ModuleNotFoundError
Значит, если DeepSeek или ChatGPT после установки нормально не запускается, а вместо это постоянно пишет ModuleNotFoundError: No module named ‘torch’, то в таком случае просто доустанавливаем недостающие данные:
- командой
pip install -r requirements.txt- или «вручную»
pip install torch transformersПосле этого проверяем результат и если проблема осталась (а такое бывает), то тогда пробуем пересоздать виртуальную среду и её переустановить. Делается это командой:
python -m venv ai_env
source ai_env/bin/activate # (Windows: ai_env\Scripts\activate)
pip install -r requirements.txt#2 — ошибка CUDA Not Detected
…означает, что система не видит видеокарту (то бишь, «совместимый с CUDA графический процессор«), даже несмотря на то, что она есть и функционирует исправно. Поэтому:
- сначала проверяем наличие и версию CUDA командой
nvcc --version- если действительно не обнаруживается, то ставим правильную версию:
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118- и после этого в обязательном порядке перепроверяем и обновляем драйвер видеокарты.
#3 — ошибка Out of Memory
Случается она, как правило, на этапе установки ИИ-модели. А некоторые из них реально весьма «прожорливые», то есть, требуют и оперативки и видеопамяти в хороших объемах.
Следовательно, когда ошибка Out of Memory (Недостаточно памяти) выскакивает стабильно, то:
- пробуем поставить сначала модель поменьше;
- перенастраиваем распределение ресурсов видеопамяти (если ИИ-модель работает с использованием ресурса видеокарты):
export PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True- а если комп слабый, то, возможно, стоит попробовать так называемой квантование модели:
pip install bitsandbytes
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("deepseek-ai/deepseek-coder", load_in_8bit=True)#4 — ИИ-модель работает очень медленно и/или постоянно фризит
То есть, ответы генерируются явно медленнее, чем должны, бот в процесс регулярно лагает или вообще виснет и т.п. В таком случае:
- пробуем перезапустить модель на видеокарте (если есть такая возможность);
- оптимизируем процесс командой:
pip install optimum- переключаем точность на fp16 — для снижения нагрузки на систему:
model()- включаем кэширование для наиболее частых ответов.
#5 — ошибка Python Version Conflict
Если ИИ-модель настоятельно требует какую-то определенную версию Python, то:
- сначала проверяем, какая есть, командой
python --version- и если надо обновить, то ставим Python 3.8+ и затем пересоздаем виртуальную среду:
python -m venv ai_env
source ai_env/bin/activate # (Windows: ai_env\Scripts\activate)#6 — лимит API на запросы в процессе работы с ИИ-моделью в облаке
… из-за чего нужное количество запросов сделать не получается. Эта проблемка устраняется следующим образом:
- переключаемся на API с большим rate limit
- для снижение ресурса на обработку дублирующихся запросов включаем кэширование
- вместо отдельных запросов запускаем пакетную их пакетами.
Не пропустите: Ошибка 429 в ChatGPT: в чем причина и что делать
#7 — Несоответствие модели и токенизатора
Если токенизатор не подходит (не совместим), то проверяем и используем правильный:
from transformers import AutoTokenizer
model_name = "deepseek-ai/deepseek-coder"
tokenizer = AutoTokenizer.from_pretrained(название_модели)
model = AutoModelForCausalLM.from_pretrained(название_модели)Если ИИ-модель на компе работает плохо или не работает вообще
Ну и вдогонку — несколько универсальных и крайне полезных приемов, которые помогают оперативно устранить самые разнообразные «непонятки» в работе большинства «локальных» ИИ-моделей:
- всегда проверяем логи (log.txt или данные терминал) на предмет инфы о сбоях и ошибках;
- своевременно обновляем библиотеки:
pip install --upgrade pip && pip install --upgrade torch transformers- проверяем доступный объем памяти и видеопамяти
- своевременно и регулярно перезапускаем среду и чистим кэш;
- отключаем лишние программы и процессы на компе, в особенности те, которые тоже потребляют значительный ресурс системы;
- если комп модель не тянет, переходим на облачную её версию.
Вот пока так…