[QLoRA 수행 시 에러] undefined symbol: cquantize_blockwise_fp16_nf4

 

해당 에러는 cuda 버전을 잘 설정해주면 된다. 

 

아래와 같이 탐지된 cuda 버전을 확인한 다음, AttributeError 다음에 나와있는 bitsandbytes가 있는 경로로 이동한 다음 카피해주면 해결된다.

 

 

cd /home/jisukim/.cache/pypoetry/virtualenvs/lima-Gl190b5G-py3.9/lib/python3.9/site-packages/bitsandbytes
cp libbitsandbytes_cuda117.so libbitsandbytes_cpu.so