코알라 오딧세이

지난번에는 Intel Gaudi2 및 vLLM을 활용하여 LLM 모델을 serving하는 방법에 대해서 글을 작성해보았는데요. 이번에는 Quantinization된 모델을 활용하는 방법 그리고 Fine-tuning하는 방법에 대해서 다루어 보고자 합니다  * 준비 사항Docker 이미지 pull 및 컨테이너 구동 docker pull vault.habana.ai/gaudidocker/1.20.0/ubuntu22.04/habanalabs/pytorch-installer-2.6.0:latestdocker run -it --runtime=habana \-e HABANA_VISIBLE_DEVICES=all \-e OMPI_MCA_btl_vader_single_copy_mechanism=none --cap-add..

안녕하세요 비지도 학습 방법론 수업에서는 5,6 주차에 Variational Autoencoder에 대한 내용을 다루는데 이에 대해 예습하기 위해서 공부하고 블로그글을 작성해보고자 합니다.  최근 인공지능 분야에서 생성 모델(Generative Model)이 많은 관심을 받고 있습니다. 그 중 Variational Autoencoder(VAE) 는 데이터의 잠재 공간(latent space)을 효율적으로 표현하여 새로운 데이터를 생성하는 모델로, 오토인코더(Autoencoder)의 확장된 버전이라고 할 수 있습니다. VAE는 확률론적 모델링(probabilistic modeling) 기법과 딥러닝 기술이 결합된 대표적인 예제로, 이미지, 음성, 텍스트 등 다양한 데이터에 적용되며 창의적인 결과물을 만들어..