코알라 오딧세이

Understanding Audiovisual Deepfake Detection: Techniques, Challenges, Human Factors and Perceptual Insights

이 논문은 오디오-비주얼 딥페이크 탐지에 관한 포괄적인 서베이 논문입니다. 최근(?) 딥페이크에 대한 문제가 화두로 올라서면서 여러 방안이 제시되고 있습니다. 그래서 저도 딥페이크 탐지 혹은 방지에 대한 기술을 혼자 연구해볼까 하던 참에 포괄적인 서베이 논문이 있어서 한번 리뷰해보게 되었습니다. 해당 논문은 2024년에 작성된 논문이다 보니, 시간차가 일부 있을 수는 있을 것 같습니다. 제목을 한글로 번역해보면 오디오-비주얼 딥페이크 탐지의 이해: 기술, 과제, 인간 요인 및 지각적 통찰 말 그대로 딥페이크 탐지 기술을 총망라해놓은 리뷰 논문이라고 생각하시면 좋을 것 같습니다. 1. 딥페이크의 유형오디오 딥페이크: 음성 변환, 텍스트 음성 변환(TTS), 부분 오디오 조작비주얼 딥페이크: 얼굴 교환, ..

이번 글은 "AI Models Need a Virtual Machine" 에 대한 내용입니다. 처음 이 글 제목을 보고 이게 무슨 뚱딴지 같은 소리야! 싶었는데요. 사실 AI 어플리케이션을 개발 할 때는 보통 컨테이너나 VM 등을 당연히 많이 사용하기 때문입니다. 근데 자세히 읽어보니 그런 내용은 아닌 것 같았습니다. https://blog.sigplan.org/2025/08/29/ai-models-need-a-virtual-machine/ AI Models Need a Virtual MachineNeural networks are more useful when placed in a suitable, specialized environment.blog.sigplan.org 여기서 말하는 가상화는 VM ..

저자 : Woosuk Kwon, Zhuohan Li, Siyuan Zhuang, Ying Sheng, Lianmin Zheng, Cody Hao Yu, Joseph E. Gonzalez, Hao Zhang, Ion Stoica GeekNews를 보다가 흥미로운 주제가 있어서 읽고 다시 정리해보는 시간을 가졌습니다. 제가 업무에서 vLLM을 주로 많이 사용합니다. 양자화에 대한 지원이 좀 (많이) 부족하지만, 그래도 이만한 서빙용 라이브러리가 없는 것 같습니다. Aleksa Gordić의 블로그(https://www.aleksagordic.com/blog/vllm) 에서는 vLLM의 중심 알고리즘인 PagedAttention에 대해서 다루고 있습니다. 저도 그래서 한번 다루어 보도록 하겠습니다. 해당 논..

LLM을 비롯한 AI 기술이 굉장히 경쟁적으로 발전하고 있습니다. 이제는 LLM의 역할이 점점 커지는 느낌인데, 이에 대두된 개념이 하나 있습니다. 바로 "Agent"인데요. Agent에 대한 정의는 하는 사람마다 다르긴 합니다. 대표적으로 AWS에서는 이런 정의를 내렸습니다. '인공 지능 에이전트는 환경과 상호 작용하고, 데이터를 수집하고, 데이터를 사용하여 사전 결정된 목표를 달성하기 위해 필요한 작업을 스스로 결정해서 수행할 수 있는 소프트웨어 프로그램입니다' 즉, AI가 주변과 상호작용해서 필요한 데이터를 직접 얻어서 이를 활용할 수 있는 프로그램이라고 간단하게(?) 정의해볼 수 있을 것 같습니다. Agent의 역사는 생각보다 이른 시기에 시작되었다고 합니다. John McCarthy의 195..

구글이 최근 AI 관련해서 엄청난 행보를 이어나가고 있는데요. Gemini 및 Gemma 등 여러 신작을 발표한데에 이어 Agent를 위한 새로운 표준을 발표했는데요. 여기서 의아한 부분이 있죠 여러 회사들이 이미 앤트로픽의 MCP를 채택하고 있는 과정에서 시장을 거스르는 선택을 한 것 같은데요. 이는 이들의 발표를 들어보면 틀린말인 것 같습니다. MCP의 보완재로서 A2A를 공개했다고 하니까요. 이게 무슨 말인지 소개 해보도록 하겠습니다. A2A는 LangChain, Cohere, Salesforce, MongoDB, SAP 등 50여 개 이상의 기업와 함께 에이전트 간의 상호 운용성을 높이기 위한 통신 표준으로, HTTP와 JSON 기반의 기존 웹 기술을 활용하여 여러 에이전트들이 협력하고 정보와 ..

이번에는 Chain-of-Tools: Utilizing Massive Unseen Tools in the CoT Reasoning of Frozen Language Models(Mengsong Wu et al., 2025) 라는 논문을 리뷰해보고자 합니다. 이 논문을 리뷰하고자 할 때, 블로그 제목을 어떻게 해야할지 고민하다가 이 부분은 그냥 GPT 한테 물어봤습니다!! 그랬더니 '언어 모델의 숨은 무기, Chain-of-Tools로 깨우다' 라는 제목을 추천해주더군요. 왜 이런 제목을 추천하는지 이제 리뷰를 해보도록 하죠.  Tool learning can further broaden the usage scenarios of large language models (LLMs). However most ..

안녕하세요. 오늘은 논문을 리뷰해볼 생각인데요. 앤트로픽에서 재밌는 연구 논문 하나를 발표했는데, 이 내용을 보면 추론 모델이 스스로 설명하는 '사고 사슬(CoT)'에 실제 사고 과정과 다른 내용을 보여줄 수 있으며, 때로는 고의로 생각을 숨긴다는 연구 결과에 대한 내용입니다.  Chain-of-thought (CoT) offers a potential boon for AI safety as it allows monitoring a model’s CoT to try to understand its intentions and reasoning processes. However, the effectiveness of such monitoring hinges on CoTs faithfully represent..

지난번에는 Intel Gaudi2 및 vLLM을 활용하여 LLM 모델을 serving하는 방법에 대해서 글을 작성해보았는데요. 이번에는 Quantinization된 모델을 활용하는 방법 그리고 Fine-tuning하는 방법에 대해서 다루어 보고자 합니다  * 준비 사항Docker 이미지 pull 및 컨테이너 구동 docker pull vault.habana.ai/gaudidocker/1.20.0/ubuntu22.04/habanalabs/pytorch-installer-2.6.0:latestdocker run -it --runtime=habana \-e HABANA_VISIBLE_DEVICES=all \-e OMPI_MCA_btl_vader_single_copy_mechanism=none --cap-add..

저는 LLM을 연구하고 개발하는 사람이기에, 빠르게 소식을 확인하는 것이 매우 중요하다고 생각합니다. 그래서 AI 타임스(https://www.aitimes.com/) 를 매우 애독하고  있습니다. 이번주 AI 타임스에는 매우 재밌는 기사가 하나 올라 왔는데요. 이게 제가 하고 있는 고민을 일부나마 설명해줄 수 있을 것 같아서 이를 기반으로 프스팅을 작성해보고자 합니다. 과도하게 훈련된 모델, 미세조정 어려워...'과잉 훈련 재앙' 개념 등장https://www.aitimes.com/news/articleView.html?idxno=169224 과도하게 훈련된 모델, 미세조정 어려워...'과잉 훈련 재앙' 개념 등장 - AI타임스대형언어모델(LLM)의 사전 학습(pre-training) 데이터가 지나치게..

안녕하세요. 최근에 MCP가 매우 핫하죠 사실 작년 11월 쯤 출시되었는데(2024.11) 이게 널리 알려진건 최근인 것 같습니다. 사실 Agent가 LLM이 종국적으로 해야할 테스크로 방향성은 정해진 것 같습니다. 그렇게 하기 위해서는 LLM이 외부 데이터 소스와의 통신을 원활하게 할 수 있는 통신 표준이 필요한데 그게 바로 Claude에서 출시한 Model Context Protocol(MCP) 입니다. 기존에 자신들만의 표준을 개발하겠다고 했던 OpenAI 마저도, 이를 포기하고 MCP 를 채택한 것은 MCP가 대세라는 것을 다시 한번 증명하는 일이었습니다. * 오픈AI에 이어 마이크로소프트 역시 이 흐름에 따라 MCP를 자체 에이전트에 사용하겠다고 밝혔습니다. MCP에 대해서 간략히 소개하자면..