Failed building wheel for llama-cpp-python

Llama.cpp를 파이썬에서 사용할 수 있도록 도와주는 라이브러리인 llama-cpp-python을 설치하던 도중에, 계속 다음과 같은 에러를 만난다.. 

 

Failed building wheel for llama-cpp-python .. Failed to build installable wheels for some pyproject.toml based projects

CMake도 관련 있는 거 같고, 여러모로 많이 얽혀있는거 같았다. 

어찌저찌 해결책을 찾아 여러 Docker 환경에서 테스트를 진행해보았고, 잘 동작하는거 같아 이를 공유한다.

apt-get update
set "CMAKE_ARGS=-DLLAMA_OPENBLAS=on"
set "FORCE_CMAKE=1"
apt install gcc-11 -y
apt install g++-11 -y
apt-get install build-essential -y
apt-get update
apt-get upgrade -y
conda install -c conda-forge cxx-compiler
pip install llama-cpp-python==0.1.48

여기까지 해도 안 될 수도 있다. 다음을 추가로 수행해보자 

apt-get install build-essential
pip3 install -U pip   # pip version update
apt-get install build-essential
pip install llama-cpp-python==0.1.48
pip install llama-cpp-python --extra-index-url https://abetlen.github.io/llama-cpp-python/whl/[cuda version]    # e.g) 12.4 -> cu124

그래도 안 된다 .. 뭐지 

apt-get update
pip3 install -q huggingface-hub
huggingface-cli download m4r1/selfrag_llama2_7b-GGUF selfrag_llama2_7b.q4_k_m.gguf --local-dir "./advanced rag/" --local-dir-use-symlinks False
pip install --upgrade llama-index
llamaindex-cli download-llamapack SelfRAGPack --download-dir ./self_rag_pack

행복 ..