vLLM 0.26.0 지원 문의
#1
by 2jh - opened
안녕하세요.
현재 SolarOpen2 모델은 아직 vLLM 공식 릴리스에서 지원되지 않아 Upstage에서 제공하는 포크 버전을 사용해야 하는 것으로 이해하고 있습니다.
관련하여 몇 가지 문의드리려 합니다.
- 현재 진행 중인 vLLM PR(#51129)의 상태가 어떻게 되고 있는지 궁금합니다.
- SolarOpen2 INT4를 vLLM 0.26.0 환경에서 사용할 수 있는 방법이 있는지 궁금합니다.
- 아직 공식 지원이 어려운 상태라면, SolarOpen2 INT4 추론을 위해 사용할 수 있는 다른 추론 엔진(TGI, SGLang 등)이 있는지도 궁금합니다.
감사합니다.
- Upstage에서 현재 진행중인 부분이라 저희도 확인이 어렵습니다.
- Upstage의 포크버전에서 solar open2 모델 파일과 register 파일을 동일하게 등록해주시면 됩니다. solar_open2.py 파일일텐데 해당 파일에서 0.26.0에서 쓰이는 import 경로 몇가지만 수정해주시면 될것 같습니다.
- vllm으로만 현재 지원 가능한 것으로 알고 있습니다.