킹남지 컴퍼니

[논문 리뷰] Can LLMs Understand Time Series Anomalies? (2024)

Paper: https://arxiv.org/abs/2410.05440 Can LLMs Understand Time Series Anomalies?Large Language Models (LLMs) have gained popularity in time series forecasting, but their potential for anomaly detection remains largely unexplored. Our study investigates whether LLMs can understand and detect anomalies in time series data, focusing on zarxiv.org ICLR 2025에 submit된 논문으로, 관련 Code는 아래 Github에서 확인할 ..

Paper: https://www.nature.com/articles/s41467-024-46142-w  의료 도메인에서 Data Drift Detection에 대한 실증을 수행한 논문이다. (Data Drift Detection에 대해 관심이 있어 찾아 본 논문이다. 의료 도메인에 대한 지식이 없어, 이해도가 부족할 수 있다.)  IntroductionAI 모델의 성능 저하를 모니터링 하는 것은 일반적이지만, input data의 data drift(systemic changes to input distribution)를 모니터링하는 것은 일반적으로 잘 이루어지지 않는다. 그렇지만, 저자들은 real-time evaluation이 어렵거나, 라벨링 비용이 큰 경우 data drift를 추적하는 것이 A..

Paper: https://arxiv.org/abs/2401.13601 MM-LLMs: Recent Advances in MultiModal Large Language ModelsIn the past year, MultiModal Large Language Models (MM-LLMs) have undergone substantial advancements, augmenting off-the-shelf LLMs to support MM inputs or outputs via cost-effective training strategies. The resulting models not only preserve the inherentarxiv.org  이 페이퍼는 Multimodal LLM에 대한 연구들을 요..

Paper: https://arxiv.org/pdf/1406.6909  Introduction이 논문에서 Self-supervised learning을 (아마도) 최초로 도입했다.Unsupervised Learning을 다루는 논문들이 늘 얘기하는 문제(Labeled Dataset을 구축하는 게 어렵다.)를 극복하고자 Unlabeled Dataset으로 CNN을 사전 학습 시키는 방법을 제안한다.  MethodCreate Surrogate Training DataExemplar-CNN 학습을 위해 어떤식으로 Input-Output을 구성했는지 확인해보겠다. 먼저, Figure 1과 같이 Unlabeled Dataset내 Images로부터 객체가 포함된 Patch를 N개 추출한다.(정확히는, Gradien..

Paper: https://arxiv.org/abs/2303.08730 DiffusionAD: Norm-guided One-step Denoising Diffusion for Anomaly Detection Anomaly detection has garnered extensive applications in real industrial manufacturing due to its remarkable effectiveness and efficiency. However, previous generative-based models have been limited by suboptimal reconstruction quality, hampering their ove arxiv.org Introduction 해당..

Paper: https://openaccess.thecvf.com/content/CVPR2021/papers/Yang_Causal_Attention_for_Vision-Language_Tasks_CVPR_2021_paper.pdf Supplementary Material: https://openaccess.thecvf.com/content/CVPR2021/supplemental/Yang_Causal_Attention_for_CVPR_2021_supplemental.pdf Introduction Attention Mechanism을 활용한 모델을 Large-scale Dataset에 훈련시킨 연구들이 Vision-Language Tasks에 훌륭한 성능을 보이고 있다. 하지만, Attention 기반의 V..

Azure를 사용할 일이 생겨서 공부도 할 겸 계정을 만들었다. Azure도 학생용 계정을 만들 수 있다. 생성 방법은 간단하다. 1. 계정 생성 먼저, MS 학생용 계정을 만들어야한다. (학교 메일로 인증 필요) 이전에 팀즈를 사용할 때, 학생용 계정을 만들어둬서 그대로 사용했다. (Azure를 이용할 용도로 계정을 하나 더 파는 경우도 있는 것 같다? 이건 잘 모르겠음) 2. Azure for Students 포탈에서 등록 포탈 주소: https://azure.microsoft.com/ko-kr/free/students/ Azure for Students - 체험 계정 크레딧 | Microsoft Azure Microsoft Azure for Students에서 체험 계정을 만들면 $100크레딧을 받..

파이썬을 사용할 때, 다음과 같이 주소 설정시 해당 오류가 나타난다. path = "C:\Users\Downloads\df.csv" 이는 \U 가 유니코드로 인식 돼 발생하는 오류다. 다음과 같이 \ 를 / 로 바꿔주면 해결할 수 있다. path = "C:/Users/Downloads/df.csv" 아래 방법으로도 해결할 수 있다.

Keras에서 사용 가능한 loss function 중 "categorical_crossentropy"와 "sparse_categorical_crossentropy" 의 차이가 궁금해서 찾아봤다. (처음에는 후자의 경우, function 자체가 sparse한 데이터에 초점이 맞춰져 있나 궁금했다...) 찾아보니, 차이는 다음과 같다. (성능에는 영향을 끼치지 않는다고 한다.) "categorical_crossentropy"는 데이터의 라벨이 원-핫 인코딩 된 형태의 경우 사용, "sparse_categorical_crossentropy"는 데이터의 라벨이 Int형 일 때 사용한다. 예로 클래스가 5개인 데이터가 있다고 하자, 라벨의 형태가 [[0, 0, 1, 0, 0], [0, 0, 0, 0, 1], [..

이 글은 학부 수업을 들으면서 개인적으로 정리한 글입니다. 잘못된 내용이 있다면 댓글로 말씀 부탁드립니다! Sampling & Aliasing 우리가 다루는 이미지는 2차원의 신호(Signal)로 볼 수 있다. Figure 1. 에서 노란 선의 신호를 화살표 우측의 연속적인 신호로 나타낼 수 있고, 연속적인 신호는 Sampling할 수 있다. (연속적인 신호(또는 함수)에서 특정 위치를 대표하는 값을 뽑아내는 과정을 Sampling이라고 한다.) Sampling된 값을 다시 연속적인 값으로 복원할 때, 기존의 신호와 달라지는 현상이 발생하는데 이런 현상을 Aliasing이라고 부른다. 이처럼 우리가 다루는 이미지는 연속이 아닌 discrete한 pixel 값으로 이루어져 있고, 카메라의 센서 또한 불연속..