코알라 오딧세이

* 이 부분은 약 2달 전에 진행했던 부분이지만 시간이 없었던 관계로 현재 업로드 하였습니다. 1. 모델 후보 선정 LLM을 활용하는데 있어서 파라미터의 수가 너무 클 경우, 컴퓨팅 자원이 너무 많이 필요하다는 문제점이 존재함 1)또한 이를 활용하는데 있어서 향후 온디바이스 환경에서도 가능해야 하므로 최대한 작은 크기 3~4B의 모델을 활용하고자 함 1) naver-hyperclovax/HyperCLOVAX-SEED-Vision-Instruct-3B네이버의 최신 모델로 한국어 및 관광 정보 안내에 강점이 있는 것으로 알려짐 2) meta-llama/Llama-3.2-3B-Instruct오픈 소스 전통 강자인 meta의 모델로 뛰어난 다국어 성능을 가지고 있음 3) Bllossom/llama-3.2-Kor..

오늘은 svelte 기초 3번째 시리즈를 작성해볼까 합니다. 오늘의 주제는 Reactivity입니다. Svelte에서는 Reactivity 즉, 손쉬운 반응성 구현을 내세우고 있는데요. 반응성이란 선언된 state의 상태에 따라서 특별한 호출 없이 HTML 영역 및 바라보는 변수 들의 상태가 빠르게 변경되는 것을 의미합니다. 그렇다면 바로 Svelte Reactivity에 대해서 Svelte Playground에 나온 내용을 바탕으로 기술해보도록 하겠습니다. Clicked {count} {count === 1 ? 'time' : 'times'} 위와 같이 count라는 state 함수를 태그 내에서 $state()를 활용하여 정의를 해주고 이에 따른 handle click 함수를 정의해줬을 때 bu..

LLM을 비롯한 AI 기술이 굉장히 경쟁적으로 발전하고 있습니다. 이제는 LLM의 역할이 점점 커지는 느낌인데, 이에 대두된 개념이 하나 있습니다. 바로 "Agent"인데요. Agent에 대한 정의는 하는 사람마다 다르긴 합니다. 대표적으로 AWS에서는 이런 정의를 내렸습니다. '인공 지능 에이전트는 환경과 상호 작용하고, 데이터를 수집하고, 데이터를 사용하여 사전 결정된 목표를 달성하기 위해 필요한 작업을 스스로 결정해서 수행할 수 있는 소프트웨어 프로그램입니다' 즉, AI가 주변과 상호작용해서 필요한 데이터를 직접 얻어서 이를 활용할 수 있는 프로그램이라고 간단하게(?) 정의해볼 수 있을 것 같습니다. Agent의 역사는 생각보다 이른 시기에 시작되었다고 합니다. John McCarthy의 195..

구글이 최근 AI 관련해서 엄청난 행보를 이어나가고 있는데요. Gemini 및 Gemma 등 여러 신작을 발표한데에 이어 Agent를 위한 새로운 표준을 발표했는데요. 여기서 의아한 부분이 있죠 여러 회사들이 이미 앤트로픽의 MCP를 채택하고 있는 과정에서 시장을 거스르는 선택을 한 것 같은데요. 이는 이들의 발표를 들어보면 틀린말인 것 같습니다. MCP의 보완재로서 A2A를 공개했다고 하니까요. 이게 무슨 말인지 소개 해보도록 하겠습니다. A2A는 LangChain, Cohere, Salesforce, MongoDB, SAP 등 50여 개 이상의 기업와 함께 에이전트 간의 상호 운용성을 높이기 위한 통신 표준으로, HTTP와 JSON 기반의 기존 웹 기술을 활용하여 여러 에이전트들이 협력하고 정보와 ..

이번주 Svelte 글은 다음 글을 참고하여 작성되었음을 알려드립니다. https://velog.io/@hippo9851/Svelte-Tutorial0.-%EC%8B%9C%EC%9E%91 [Svelte Tutorial]1. 시작Svelte를 사용할 일이 생겨서 학습을 위해 Svelte 공식 사이트의 Tutorial을 진행하면서 학습한 내용을 정리한 시리즈 입니다.이런 식으로 공식 사이트 옆에 학습하면서 실습해볼 수 있는 좋은 환경이velog.io 이 글에 tutorial이 아주 잘 정리되어 있어서, 이 글을 따라서 한번 공부해보고자 합니다. 이분도 아마 Svelte playground에 있는 내용을 바탕으로 작성하신 것 같습니다.  Svelte에서 하나의 App은 1개 이상의 컴포넌트로 구성되고 컴포넌트..

이번에는 Chain-of-Tools: Utilizing Massive Unseen Tools in the CoT Reasoning of Frozen Language Models(Mengsong Wu et al., 2025) 라는 논문을 리뷰해보고자 합니다. 이 논문을 리뷰하고자 할 때, 블로그 제목을 어떻게 해야할지 고민하다가 이 부분은 그냥 GPT 한테 물어봤습니다!! 그랬더니 '언어 모델의 숨은 무기, Chain-of-Tools로 깨우다' 라는 제목을 추천해주더군요. 왜 이런 제목을 추천하는지 이제 리뷰를 해보도록 하죠.  Tool learning can further broaden the usage scenarios of large language models (LLMs). However most ..

안녕하세요. 오늘은 논문을 리뷰해볼 생각인데요. 앤트로픽에서 재밌는 연구 논문 하나를 발표했는데, 이 내용을 보면 추론 모델이 스스로 설명하는 '사고 사슬(CoT)'에 실제 사고 과정과 다른 내용을 보여줄 수 있으며, 때로는 고의로 생각을 숨긴다는 연구 결과에 대한 내용입니다.  Chain-of-thought (CoT) offers a potential boon for AI safety as it allows monitoring a model’s CoT to try to understand its intentions and reasoning processes. However, the effectiveness of such monitoring hinges on CoTs faithfully represent..

지난번에는 Intel Gaudi2 및 vLLM을 활용하여 LLM 모델을 serving하는 방법에 대해서 글을 작성해보았는데요. 이번에는 Quantinization된 모델을 활용하는 방법 그리고 Fine-tuning하는 방법에 대해서 다루어 보고자 합니다  * 준비 사항Docker 이미지 pull 및 컨테이너 구동 docker pull vault.habana.ai/gaudidocker/1.20.0/ubuntu22.04/habanalabs/pytorch-installer-2.6.0:latestdocker run -it --runtime=habana \-e HABANA_VISIBLE_DEVICES=all \-e OMPI_MCA_btl_vader_single_copy_mechanism=none --cap-add..

안녕하세요 비지도 학습 방법론 수업에서는 5,6 주차에 Variational Autoencoder에 대한 내용을 다루는데 이에 대해 예습하기 위해서 공부하고 블로그글을 작성해보고자 합니다.  최근 인공지능 분야에서 생성 모델(Generative Model)이 많은 관심을 받고 있습니다. 그 중 Variational Autoencoder(VAE) 는 데이터의 잠재 공간(latent space)을 효율적으로 표현하여 새로운 데이터를 생성하는 모델로, 오토인코더(Autoencoder)의 확장된 버전이라고 할 수 있습니다. VAE는 확률론적 모델링(probabilistic modeling) 기법과 딥러닝 기술이 결합된 대표적인 예제로, 이미지, 음성, 텍스트 등 다양한 데이터에 적용되며 창의적인 결과물을 만들어..

서비스 간의 자원 격리 필요성  배포 리스크가 매우 작으나, 배포 주기가 짧기에 배포로 인한 문제가 발생할 수 있음 => 서비스 간 공간 격리가 이루어질 경우 배포 리스크를 안정적으로 격리할 수 있다.  격리의 방법은 물리 서버에 마이크로 서비스를 격리하는 것이 가장 좋으나 불필요한 자원 낭비 및 관리 비용이 증가되는 문제가 발생한다. => 가상서버에 격리 방법이 존재, 가상 서버 하나에 마이크로 서비스 하나를 구동한다. 즉, 마이크로 서비스가 개별 커널을 구동하는데 예를 들어서 리눅스 베이스의 10개의 마이크로 서비스를 구동하기 위해서는 10개의 리눅스 커널이 구동되는 것이 필요하다. 이 또한가상화 Overhead로 인한 Host memory 자원 낭비 문제가 발생할 수 있다. => 컨테이너에 격리 하..