jmkang212/qwen3vl-32b-vqa-lora-full-grpo

Recycling Classification VQA Model (QLoRA + GRPO Fine-tuned)

재활용품 이미지를 분류하는 시각질의응답(VQA) 모델입니다. 재활용 가능 여부 판별, 개수 카운팅, 세부 종류 분류 과제를 수행하도록 파인튜닝되었습니다.

A Vision-Language model fine-tuned for recycling-waste classification. Given an image, the model answers questions about (1) whether the item is recyclable, (2) how many items are present, and (3) the specific recycling category.

Model Details

Model Description

• Developed by: Kang Jaemin (강재민)
• Model type: Vision-Language Model (Visual Question Answering)
• Language(s): Korean
• Finetuned from model:
• Fine-tuning method: QLoRA (4-bit quantization + LoRA) + GRPO

Task

본 모델은 재활용 분류 챌린지를 위해 개발되었으며, 다음 과제를 수행합니다:

1. 재활용 가능 여부 판별 — 이미지 속 물체가 재활용 대상인지 분류
2. 개수 카운팅 — 이미지 내 재활용품 개수 인식
3. 세부 종류 분류 — 재활용품의 구체적 카테고리 분류

Training Details

Training Procedure

성능 개선을 단계적으로 진행했습니다:

1. QLoRA 기반 파인튜닝 — 대형 모델을 4-bit 양자화하여 제한된 GPU 환경에서 구동하고, LoRA로 효율적으로 파인튜닝
2. 모델 스케일업 — 더 큰 파라미터의 베이스 모델로 교체하여 기반 성능 향상
3. 하이퍼파라미터 튜닝 — 학습률 등 주요 하이퍼파라미터 최적화
4. 이미지 전처리 개선 — 동적 크기 이미지 입력 시 발생하는 비율 왜곡 및 모서리 영역 인식 누락 문제를 발견, 원본 비율을 보존하는 방식으로 개선
5. GRPO 적용 — 오답 사례에 대한 학습을 강화하는 GRPO(Group Relative Policy Optimization)를 적용하여 추가 성능 향상

Training Hyperparameters

• Fine-tuning: QLoRA (4-bit) Evaluation

  Results

  • Accuracy: 85% → 93.3% (단계적 개선 후)
  • Challenge ranking: 전체 200팀 중 최고 20위 기록, 최종 50위 (상위 25%)

  Summary

  QLoRA 양자화로 대형 모델을 제한된 환경에서 구동하고, 모델 스케일업·하이퍼파라미터 튜닝·이미지 전처리 개선·GRPO를 단계적으로 적용하여 정확도를 85%에서 93.3%까지 향상시켰습니다.

  Bias, Risks, and Limitations

  • 본 모델은 단기 챌린지를 위해 특정 재활용 분류 데이터셋에 파인튜닝되었으며, 학습 데이터의 분포를 벗어난 이미지(다른 조명, 배경, 물체 종류)에서는 성능이 저하될 수 있습니다.
  • 실제 재활용 분리배출 의사결정에 단독으로 사용하기에는 검증이 더 필요합니다.

  How to Get Started with the Model

  # TODO: 실제 로딩/추론 코드 추가
  from transformers import AutoModel, AutoProcessor
  
  # model = AutoModel.from_pretrained("...")
  # processor = AutoProcessor.from_pretrained("...")
  

  Model Card Authors

  Kang Jaemin (강재민)