DeepSeek — это современная языковая модель, которая может использоваться для задач генерации текста, перевода, чат-ботов и многого другого. Вместе с инструментом Ollama, который предоставляет удобный способ локального запуска LLM (Large Language Models), можно запустить DeepSeek даже на компактном компьютере, таком как Raspberry Pi 5. В этом руководстве вы узнаете, как это сделать.
Что такое DeepSeek?
DeepSeek — это открытая языковая модель, разработанная для общего назначения. Поддерживает различные размеры, включая DeepSeek 1.3B, DeepSeek 7B и более. Она показывает отличные результаты в понимании, генерации и кодировании текста.
Что такое Ollama?
Ollama — это CLI-инструмент и сервер, который позволяет загружать, запускать и взаимодействовать с LLM локально, упрощая установку и использование моделей вроде LLaMA, Mistral, DeepSeek и других. Ollama автоматически управляет зависимостями, оптимизациями и контейнерами моделей.
Что понадобится
- Raspberry Pi 5 (с рекомендованным активным охлаждением)
- Raspberry Pi OS (64-бит, Bookworm или новее)
- SD-карта минимум 64 ГБ или SSD-накопитель
- Подключение к интернету
- Базовые навыки работы с терминалом
Шаг 1. Установка необходимых зависимостей
Откройте терминал и выполните обновление системы:
sudo apt update && sudo apt upgrade -yУстановите необходимые пакеты:
sudo apt install curl git build-essential -yУбедитесь, что у вас установлен docker, так как Ollama использует контейнеры (или Podman, в зависимости от версии):
curl -fsSL https://get.docker.com | sh
sudo usermod -aG docker $USERПерезагрузите систему:
sudo rebootШаг 2. Установка Ollama
На момент написания, официальная сборка Ollama не поддерживает ARMv8 (архитектура Raspberry Pi) напрямую. Однако вы можете использовать Ollama через контейнер или скомпилировать вручную.
Вариант 1: Использовать Ollama ARM-сборку (неофициальную)
curl -fsSL https://ollama.com/download/ollama-linux-arm64 -o ollama
chmod +x ollama
sudo mv ollama /usr/local/bin/Проверьте установку:
ollama --versionВариант 2: Использовать Docker-образ Ollama (если есть поддержка)
Создайте Docker-контейнер (если доступен ARM64-образ):
docker run -d --name ollama -p 11434:11434 ollama/ollamaШаг 3. Загрузка модели DeepSeek
Теперь можно загрузить нужную модель. Например, чтобы загрузить deepseek-coder:6.7b:
ollama pull deepseek-coder:6.7bЕсли хотите использовать обычную языковую модель (а не кодовую):
ollama pull deepseek:7bВажно: модели такого размера могут потребовать своп-память. Вы можете добавить своп:
sudo fallocate -l 4G /swapfile
sudo chmod 600 /swapfile
sudo mkswap /swapfile
sudo swapon /swapfileДобавьте в /etc/fstab строку:
/swapfile none swap sw 0 0Шаг 4. Запуск DeepSeek
Запустите модель:
ollama run deepseek:7bПосле этого вы можете начинать взаимодействие с моделью через CLI, или интегрировать её с другими приложениями (через API по адресу http://localhost:11434).
Производительность и советы
- Raspberry Pi 5 может работать с моделями до ~7B параметров, но очень ограниченно и медленно. Рекомендуется использовать минимальные модели (например, 1.3B или quantized версии типа Q4).
- Используйте квантованные модели (например,
deepseek:7b-q4) для экономии оперативной памяти и ускорения инференса. - Лучше всего подключить SSD через USB 3.0 для хранения моделей — SD-карты слишком медленные.
Альтернатива: Запуск через удалённый сервер
Если Raspberry Pi не справляется с моделью, можно установить только Ollama-клиент на Pi, а модель запускать удалённо на более мощной машине. Это реализуется с помощью Ollama API по сети.
Итоги
Хотя Raspberry Pi 5 не является идеальной платформой для запуска LLM, с помощью Ollama и правильно настроенных моделей, можно получить простой локальный доступ к DeepSeek и использовать его для базовых задач. Это отличное решение для обучения, экспериментов и создания локальных ИИ-приложений.
