Как установить LLaMA 3 на ПК с Windows 11?

Llama 3 — новейшая модель большого языка Meta. Вы можете использовать его для различных целей, например для решения ваших запросов, получения помощи с домашними заданиями и проектами в школе и т. д. Локальное развертывание Llama 3 на вашем компьютере с Windows 11 поможет вам использовать его в любое время, даже без доступа к Интернету. В этой статье показано, как установить Llama 3 на ПК с Windows 11.

Как установить Llama 3 на компьютер с Windows 11

Установка Llama 3 на ПК с Windows 11 через Python требует технических навыков и знаний. Однако некоторые альтернативные методы позволяют вам локально развернуть Llama 3 на вашем компьютере с Windows 11. Я покажу вам эти методы.

Чтобы установить Llama 3 на компьютер с Windows 11, вам необходимо выполнить некоторые команды в командной строке. Однако это позволит вам использовать только версию для командной строки. Вам необходимо предпринять дальнейшие шаги, если вы хотите использовать его веб-интерфейс. Я покажу вам оба этих метода.

Разверните Llama 3 на ПК с Windows 11 через CMD

Чтобы развернуть Llama 3 на компьютере с Windows 11, вам необходимо установить Ollama на свой компьютер с Windows. Шаги для этого следующие:

1. Посещать Официальный сайт Олламы.
2. Нажмите кнопку «Загрузить» и выберите «Windows».
3. Теперь нажмите кнопку «Загрузить для Windows», чтобы сохранить exe-файл на вашем компьютере.
4. Запустите exe-файл, чтобы установить Ollama на свой компьютер.

Как только Ollama будет установлена ​​на ваше устройство, перезагрузите компьютер. Он должен работать в фоновом режиме. Вы можете увидеть его в системном трее. Теперь нажмите «Модели» на веб-сайте Ollama. Вы увидите его разные модели.

Llama 3.1 доступен в следующих трех параметрах:

Последний параметр является самым большим и, очевидно, не может быть запущен на слабом ПК. Llama 3.2 имеет следующие два параметра:

Нажмите на версию Llama, которую вы хотите установить на свой компьютер. Например, если вы хотите установить Llama 3.2, нажмите Llama 3.2. В раскрывающемся списке вы можете выбрать параметр, который хотите установить. После этого скопируйте команду рядом с ней и вставьте ее в командную строку.

Для вашего удобства я написал обе команды для модели Llama 3.2. Чтобы установить модель Llama 3.2 3B, выполните следующую команду:

оллама беги, лама3.2:3b

Чтобы установить модель Llama 3.2 1B, используйте следующую команду:

оллама беги лама3.2:1b

Откройте командную строку, введите любую из вышеупомянутых команд (в зависимости от ваших требований) и нажмите Enter. Загрузка необходимых файлов займет некоторое время. Время загрузки также будет зависеть от скорости вашего интернет-соединения. После завершения вы увидите сообщение об успехе в командной строке.

Теперь введите свое сообщение, чтобы использовать модель Llama 3.2. Если вы хотите установить модель Llama 3.1, используйте команды, доступные на сайте Ollama.

В следующий раз, когда вы запустите командную строку, используйте ту же команду для запуска Llama 3.1 или 3.2 на вашем компьютере.

Установка Llama 3 через CMD имеет один недостаток. Он не сохраняет историю вашего чата. Однако, если вы развернете его на локальном хосте, ваша история чата будет сохранена, и вы получите лучший пользовательский интерфейс. Следующий метод показывает, как это сделать.

Развертывание веб-интерфейса Llama 3 в Windows 11

Использование Llama 3 в веб-браузере обеспечивает лучший пользовательский интерфейс, а также сохраняет историю чата по сравнению с использованием его в окне CMD. Я покажу вам, как развернуть Llama 3 в вашем веб-браузере.

Чтобы использовать Llama 3 в вашем веб-браузере, в вашей системе должна быть установлена ​​версия Llama 3 через Ollama и Docker. Если вы еще не установили Llama 3, установите ее с помощью Ollama (как описано выше). Теперь загрузите и установите Docker из его официальный сайт.

После установки Docker запустите его и зарегистрируйтесь, чтобы создать учетную запись. Docker не запустится, пока вы не зарегистрируетесь. После регистрации войдите в свою учетную запись в приложении Docker. Сверните Docker в системный трей. Приложения Docker и Ollama должны работать в фоновом режиме. В противном случае вы не сможете использовать Llama 3 в своем веб-браузере.

Теперь откройте командную строку, скопируйте следующую команду и вставьте ее в командную строку:

docker run -d -p 3000:8080 –add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data –name open-webui –restart всегда ghcr.io/ open-webui/open-webui:основной

Приведенной выше команде потребуется некоторое время для загрузки необходимых ресурсов. Поэтому наберитесь терпения. После завершения команды откройте Docker и выберите раздел «Контейнеры» слева. Вы увидите, что контейнер создается автоматически с портом 3000:8080.

Нажмите на порт 3000:8080. Откроется новая вкладка в веб-браузере по умолчанию. Теперь зарегистрируйтесь и войдите в систему, чтобы использовать Llama 3 в своем веб-браузере. Если вы видите адресную строку, вы увидите локальный хост: 3000 это означает, что Llama 3 размещается локально на вашем компьютере. Вы можете использовать его без подключения к Интернету.

Выберите модель чата Llama из раскрывающегося списка. Если вы хотите добавить больше моделей чата Llama 3, вам необходимо установить его через Ollama, используя необходимые команды. После этого модель автоматически станет доступна в вашем веб-браузере.

Вся ваша история чата будет сохранена и доступна слева. Если вы хотите выйти, выйдите из сеанса в веб-браузере. После этого откройте приложение Docker и нажмите кнопку «Стоп», чтобы остановить Docker. Теперь вы можете закрыть Docker.

Если вы захотите использовать Llama 3 в своем веб-браузере в следующий раз, запустите Ollama и Docker, подождите несколько минут, а затем щелкните порт в контейнере Docker, чтобы открыть сервер localhost в вашем веб-браузере. Теперь войдите в свою учетную запись и начните использовать Llama 3.

Надеюсь, это поможет.

Может ли Llama 3 работать в Windows?

В зависимости от аппаратной конфигурации вашего компьютера вы можете запустить Llama 3 в своей системе. Его модель 1B является самой легкой. Вы можете установить и запустить его в своей системе через командную строку.

Сколько оперативной памяти мне нужно для Llama 3?

Самая легкая модель Ламы 3 – Лама 3.2 1Б. Для работы модели Llama 3.2 1B в вашей системе должно быть 16 ГБ ОЗУ. В дополнение к этому ваша система также должна иметь мощный графический процессор. Более высокие модели Llama 3 требуют больше системных ресурсов.

Читать далее: Как использовать AI Леонардо Феникса.