Mac M1에서 Tokenizers Library 설치 안되는 오류 해결
맥북 ARM 계열 CPU(M1 등등)에서 tokenizers 라이브러리가 정상적으로 설치가 안되는 오류가 발생한다. sentence_transformers 등 여러 라이브러리랑도 엮여있어서 필수로 필요한 라이브러리와 다름없는데, 설치가 안될 경우 아래 명령어를 따라 치면 정상적으로 해결된다. curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh source "$HOME/.cargo/env" git clone https://github.com/huggingface/tokenizers pip install setuptools_rust pip install tokenizers 아래는 내가 났던 Tokenizers 라이브러리 설치 오류다. Buildin..
