byeolcardxi

이 문서는 Gemma‑3‑4B(IT) 모델을 4‑bit QLoRA로 파인튜닝한 뒤,어댑터를 병합(FP16)하여 Hugging Face Hub에 업로드하고,vLLM(OpenAI API 호환)으로 서빙하는 전 과정을 정리한 가이드입니다.주의 : 아래 예시는 모두 토큰·레포 이름·경로를가명(placeholder) 으로 바꿔 두었습니다. 실제 환경에 맞게 수정하세요.1. 환경 준비# Python 3.10+ / CUDA 12.1 권장pip install "transformers>=4.40" datasets peft bitsandbytes acceleratepip install vllm # 로컬 디버깅용 (서버 배포는 Docker 이용)주요 라이브러리 버전 예시라이브러리 버전transformers4.41.*peft..

머신러닝/함수, 라이브러리 2025. 6. 16. 09:16

딥러닝을 하다 보면 반드시 마주치는 것이 있습니다. 바로 dtype(데이터 타입)입니다.처음에는 float32만 쓰던 것이, 어느 순간 float16, bfloat16이 등장하면서 GPU 메모리 사용량이 급격히 줄고, 학습 속도도 빨라집니다. 하지만 반대로, "NaN이 뜬다", "추론이 안 된다" 같은 문제가 생기기도 하죠.이 글에서는 다음 질문에 대해 확실히 정리해보겠습니다. float32, float16, bfloat16의 차이는?총 비트 수32bit16bit16bit정밀도 (mantissa)23bit10bit7bit지수 범위 (exponent)8bit5bit8bit표현 범위넓음좁음 (overflow/underflow 위험)넓음 (FP32와 유사한 범위)메모리 사용량많음반 정도반 정도연산 속도느림빠름..

머신러닝/함수, 라이브러리 2025. 5. 26. 09:55

문제 상황Unsloth를 이용하여 Gemma3 모델을 파인튜닝한 후, VLLM으로 Inference를 수행하려 할 때, 아래와 같은 오류가 발생하는 경우가 있습니다KeyError: 'causal-lm' 혹은ValueError: Could not detect config format for no config file found.Ensure your model has either config.json (HF format) or params.json (Mistral format).이 오류는 VLLM이 모델의 구성을 인식하지 못하여 발생하는 문제로, 주로 config.json 파일의 형식 문제로 인해 발생합니다. 문제 원인Unsloth로 파인튜닝한 Gemma3 모델은 기본적으로 config.json 파일을 생성..

Error 2025. 5. 16. 21:14

많은 분들이 윈도우의 BIOS 자동 부팅처럼, Mac도 특정 시간에 자동으로 부팅이 가능할까? 라는 의구심을 가집니다. 특히 Mac mini처럼 항상 책상 위에 두고 사용하는 데스크탑 환경이라면, 매일 아침 자동으로 켜지는 기능은 꽤 유용하겠죠.저의 경우에는 주가 예측 모델을 매일 아침 자동으로 돌리기 위해서 사용합니다.이번 글에서는 Mac mini에서 특정 시간에 자동으로 절전 모드에서 깨우는 방법, 그리고 이를 활용해 자동 작업 스케줄링까지 연계하는 팁을 알려드립니다. Pmset 명령어를 이용하면 간단하게 됩니다.sudo pmset repeat wakeorpoweron MTWRF 07:00:00 아래 명령어는 월화수목금 7시에 깨우는 명령어입니다. 아래 명령어로 현재 진행 상황을 알 수 있습니다.pm..

최신 기술 2025. 5. 2. 20:21

2024년, 마이크로소프트 리서치(Microsoft Research)와 일리노이대학교 어배너-섐페인(UIUC)의 공동 연구팀이 발표한 BitNet은 기존 대형 언어모델(LLM)의 한계를 정면으로 돌파한 혁신적인 모델입니다. 이 모델은 이름 그대로 "비트 단위 최적화"를 통해 고성능을 유지하면서도 훈련 비용과 메모리 사용량을 획기적으로 줄인 것이 특징입니다. inference code는 공개된 것 처럼 아래와 같습니다. import torchfrom transformers import AutoModelForCausalLM, AutoTokenizermodel_id = "microsoft/bitnet-b1.58-2B-4T"# Load tokenizer and modeltokenizer = AutoTokeniz..

최신 기술 2025. 5. 1. 17:48

가끔 아래와 같은 오류가 발생됩니다. 결론 부터 얘기하자면 torch version이 2.6 이후 라서 발생하는 문제입니다.(1) In PyTorch 2.6, we changed the default value of the weights_only argument in torch.load from False to True. Re-running torch.load with weights_only set to False will likely succeed, but it can result in arbitrary code execution. Do it only if you got the file from a trusted source.(2) Alternatively, to load with weights_onl..

Error 2025. 4. 29. 20:55