Чтобы не тянуть всю IDE, достаточно:
cl.exe). Скачать отсюда: https://visualstudio.microsoft.com/visual-cpp-build-tools/ При установке галочки:
@"%SystemRoot%\System32\WindowsPowerShell\v1.0\powershell.exe" -NoProfile -InputFormat None -ExecutionPolicy Bypass -Command "[System.Net.ServicePointManager]::SecurityProtocol = 3072; iex ((New-Object System.Net.WebClient).DownloadString('https://community.chocolatey.org/install.ps1'))" && SET "PATH=%PATH%;%ALLUSERSPROFILE%\chocolatey\bin"
choco install ninja
Это весит меньше, чем полная Visual Studio IDE.
Активируем среду MSVC Powershell: "C:\Program Files (x86)\Microsoft Visual Studio\2022\BuildTools\VC\Auxiliary\Build\vcvars64.bat"
Устанавливаем Python3 https://www.python.org/downloads/windows/
OpenVINO git clone https://github.com/openvinotoolkit/openvino.git cd openvino git submodule update --init --recursive mkdir build && cd build call "C:\Program Files (x86)\Microsoft Visual Studio\2022\BuildTools\VC\Auxiliary\Build\vcvars64.bat" cmake -G Ninja -Wno-dev -DCMAKE_BUILD_TYPE=Release .. cmake --build . --parallel
Генерация с OpenVINO git clone https://github.com/ggerganov/llama.cpp cd llama.cpp mkdir build cd build cmake .. -G Ninja -DLLAMA_OPENVINO=ON -DLLAMA_CURL=OFF Сборка cmake --build . --config Release -- -j 8
Качаем модель curl -L -o llama3.1-8b-instruct.gguf https://huggingface.co/QuantFactory/Meta-Llama-3.1-8B-Instruct-GGUF
pip install filelock