AI 이상 탐지란 무엇인가요?

이상 탐지의 목표는 데이터의 비정상적인 변화를 포착하는 것입니다. 그러나 기업은 갈수록 많은 장소에서 더 많은 정보를 수집하고 있으므로 정상 범위를 벗어난 편차를 발견하는 것은 매우 어려운 작업이 될 수도 있습니다. 그러나 AI를 도입하면서 이야기가 달라졌습니다. 이제 방대한 데이터 세트를 신속하게 스캔하여 정상 범위를 벗어난 패턴을 찾아내고 이상 현상을 정확히 지목할 수 있습니다. AI 기반 이상 탐지는 금융 사기, 특정한 의료 상태, 네트워크 침입 등 다양한 분야별 데이터를 탐지하는 데 유용하게 활용됩니다.

AI 이상 탐지란 무엇인가요?

AI 이상 탐지는 인공지능 모델이 데이터 세트를 검토하여 기준선(정상적인 행동을 의미하는 비교 기준점)에서 벗어난 것으로 간주되는 기록을 표시하는 프로세스입니다. 데이터 세트에 대한 예상 기준선은 과거 데이터, 업계 기대치, 프로젝트 목표를 조합하여 모델 훈련 과정에 설정됩니다.

전통적인 데이터 분석으로도 이상 탐지는 가능하지만 수동으로 설정된 규칙에 의존해야 합니다. 수동 규칙에는 정적이고 좁은 범위로 인한 한계가 존재합니다. AI 모델은 시간이 지날수록 진화하고 적응하는 능력을 통해 그러한 한계를 극복할 수 있습니다. 시스템이 반지도 학습 및 비지도 학습 데이터를 처리하는 경우 기준 데이터 없이도 AI 이상 탐지를 수행할 수 있습니다.

이상 탐지와 관련된 산업별 적용 사례 및 운영적 적용 사례가 모두 존재합니다. 신용카드 거래, 보안 로그, 생산 데이터 분석 등이 그 좋은 예시입니다. 많은 기업이 멀티클라우드 환경과 생성형 AI 프로젝트로 IT 환경을 전환함에 따라 AI 이상 탐지의 유용성은 더욱 커지고 있습니다. 예를 들어 멀티클라우드를 사용하는 IT 부서의 경우 환경 고유의 복잡성(다양한 계층과 유형의 보안 프로토콜, 서로 다른 구성, 상호운용성을 위한 맞춤형 API 등)이 존재하며 AI 모델을 활용해 문제 탐지를 단순화하고 개선할 수 있습니다.

핵심 요점

• AI는 이상 탐지의 속도, 정확도, 적용 가능성을 향상시킬 수 있습니다.
• 기존의 규칙 기반 이상 탐지는 빈번한 규칙 업데이트가 필요한 반면, AI 기반 이상 탐지는 새로운 패턴과 추세에 자동으로 적응합니다.
• 합성 데이터로 생성형 AI(GenAI)를 훈련시키는 과정에서 AI 이상 탐지를 활용해 이상치를 강조 표시할 수 있으며, 발견한 이상치를 토대로 향후 생성할 합성 데이터 세트의 방향성을 설정할 수 있습니다.
• 또한 훈련 목적의 합성 데이터 세트를 검증하는 작업에도 AI 이상 탐지를 활용할 수 있습니다.

AI 이상 탐지 알아보기

이상 탐지 기술은 통계학에서 비롯되었으며, 특히 20세기 초 제조업 분야의 산업적 응용 통계학에서 그 기원을 찾을 수 있습니다. 암호학자들은 수동적 이상 탐지를 활용해 문자나 기호의 예상 통계적 분포에서 벗어난 비정상적 패턴이나 편차를 관찰함으로써 암호를 해독했습니다. 데이터가 풍부해짐에 따라 컴퓨터 기반 이상 탐지는 사기 탐지, 재고 관리, 품질 관리 등의 분야의 표준이 되었습니다.

AI 이상 탐지는 정적인 통계 규칙 집합에서 '정상'의 기준선을 생성하도록 훈련된 유연한 모델로 프로세스를 변화시킵니다. 데이터로 훈련된 AI 모델은 예상 데이터에 대한 더 정밀하고 세련된 정의를 제공하며, 처리하는 데이터가 많을수록 정확도가 높아집니다. 이를 통해 각 애플리케이션의 다양한 측면을 더 잘 반영하는 모델을 구축할 수 있게 되었습니다. 해당하는 모델들은 사물인터넷(IoT) 기기 모니터링이나 방대한 데이터를 생성하지만 데이터 포인트 간 관계가 항상 명확하지 않은 시스템과 같은 복잡한 용도에 활용하기 적합합니다.

생성형 AI는 AI 이상 탐지가 다양한 프로젝트와 서비스에 어떤 도움이 될 수 있는지 보여주는 좋은 사례입니다. 거의 모든 생성형 AI 프로젝트는 데이터 수집, 저장, 처리 분야의 혁신의 결과물입니다. 기존의 규칙 기반 이상 탐지 기술도 관련 프로젝트에 활용할 수 있지만, 방대한 양의 데이터를 정밀하고 섬세하게 처리하는 능력이 떨어질 때가 많습니다. 따라서 AI 이상 탐지 기술은 훈련 데이터 소스의 변환 및 정규화, 이상치 탐지, 데이터 내 편향성 포착, 심지어 알고리즘 훈련용 합성 데이터 생성 지원에 필수 요소로 자리잡고 있습니다.

AI 이상 탐지의 작동 방식

AI 이상 탐지 프로세스는 데이터 수집, 훈련, 반복 작업이 모두 필요한 일반적인 AI 모델 개발 과정과 매우 유사합니다. 주된 차이점은 이상 탐지는 이상값(outlier)에 초점을 맞춘다는 점입니다. AI 이상 탐지의 일반적인 단계는 다음과 같습니다.

1. 데이터 수집 및 전처리: 다른 AI 프로젝트와 마찬가지로 AI 이상 탐지도 프로젝트 방향 설정부터 시작됩니다. 먼저 프로젝트의 주요 목표를 정의해야 합니다. 데이터의 정상 상태는 무엇이고, 고려 대상 데이터의 범위는 어디까지인가요? 이를 바탕으로 팀은 훈련용 데이터 소스를 식별하고, 데이터를 수집 및 분류할 저장소를 구축해야 합니다. 어떤 기록이 이상값이고 어떤 기록이 정상인가요? 기업은 소스 저장소와 훈련 저장소 간 자동화된 변환을 구축함으로써 훈련 데이터 생성 과정을 간소화할 수 있습니다.
2. 알고리즘 선택: 팀은 주요 목표 뿐만 아니라 더 세분화된 목표 및 제약을 고려하여 기능을 선택하고, 속성을 식별하고, 특정 상황에 가장 적합한 알고리즘을 선택할 수 있습니다. 이상 탐지의 경우 통계적(회귀), 클러스터링(K-평균), 신경망이 높은 적합도를 보입니다. AI 이상 탐지에 사용되는 모든 알고리즘은 데이터 레코드를 분류하려고 시도합니다. 가장 성공적인 알고리즘들은 복잡한 방식으로 데이터를 분류하는 신경망을 사용하는 경우가 많습니다. 예를 들어, 금융 거래는 계정별 일반 거래 또는 고가 거래로 분류할 수 있습니다. 이후 예상 위치 또는 신규 위치에서 발생한 것으로 분류하고, 일반 지출 또는 비정상 지출로 추가 분류할 수 있습니다. 단일 거래에서 두 가지 이상의 이상 상태가 발생하면 사기일 가능성이 있습니다. 세 가지 조건이 모두 충족되면 사기일 확률이 매우 높습니다. AI는 훈련을 통해 다양한 범주에 걸쳐 이러한 분석을 수행하고 가중치를 적용하여 거래를 추가로 점검해야 할 시점을 판단하는 데 도움을 줄 수 있습니다.
3. 모델 훈련 및 선택: 이상의 요소들이 준비된 팀은 모델 훈련을 시작할 수 있습니다. 훈련 단계에는 아키텍처 설정, 사용 가능한 기반 모델 선택, 훈련 데이터 준비, 모델에 훈련 데이터 입력 등이 포함됩니다. 다음으로 팀은 훈련된 모델이 이상을 얼마나 잘 탐지하는지 평가하기 위해 훈련용이 아닌 다른 데이터 세트를 사용하여 모델을 테스트합니다. 훈련은 모델이 원하는 대로 작동할 때까지 계속됩니다. 모델은 기본 알고리즘에 따라 실시간 데이터를 계속 학습하며 시간이 지날수록 지속적으로 개선될 수 있습니다.
4. 실시간 처리 또는 배치 처리 탐지: 애플리케이션에 따라 AI 이상 탐지는 실시간으로 작동할 수도 있고 대량의 데이터를 배치 처리할 수도 있습니다. 실시간 탐지는 해당 프로세스에 상당한 컴퓨팅 및 처리 자원을 할당해야 할 수 있습니다. 그 대가로 실시간 탐지는 결과를 신속하게 생성하지만, 배치 처리의 통제된 환경에서 제공되는 결과보다 인사이트 또는 세부 사항이 부족할 수 있습니다. 즉, 실시간 탐지는 속도를 향상시키는 대신 소규모 이상 현상의 발견 확률을 희생시키는 방식입니다.

AI 이상 탐지의 이점

AI 기반 이상 탐지는 기존의 규칙 기반 이상 탐지 대비 상당한 발전을 이루었습니다. AI 기반 시스템은 보다 강력한 컴퓨팅 인프라를 필요로 하지만 일반적으로 훨씬 더 우수한 성능을 발휘합니다. AI 이상 탐지의 일반적인 이점은 다음과 같습니다.

• 정확성 및 정밀도 향상: 적절히 훈련된 신경망은 수천 개의 범주 또는 클러스터를 생성하며, 각 클러스터에 속한 데이터들의 상호 연관성을 이해하게 됩니다. 결과적으로 사람이 작성한 규칙으로는 절대 발견할 수 없는 데이터 이상 현상도 포착할 수 있게 됩니다. 이러한 모델은 더 미묘한 이상 현상을 찾아낼 수 있으며 판단을 내릴 수 있는 적절한 맥락 데이터를 갖추고 있습니다. 이 모든 것이 결합되어 더 정확한 탐지 프로세스를 구현합니다.
• 확장성: AI는 대규모 데이터 세트를 처리할 수 있습니다. 이는 규칙 기반 시스템도 가능한 일이지만, AI는 그보다 더 복잡한 데이터 세트도 처리할 수 있습니다. 매우 방대하고 복잡한 데이터 세트를 처리하기 위한 현재의 알고리즘에서 복잡한 레코드 각각에 대한 벡터 표현이 생성됩니다. 다음으로 유사성 검색을 사용해 벡터의 가장 가까운 이웃을 찾습니다. 검토 중인 벡터의 가장 가까운 이웃이 사기성 레코드가 포함된 것으로 알려진 클러스터에 있다면, 해당 벡터 역시 그럴 가능성이 높습니다. 이러한 접근 방식은 그 하나하나에 복잡한 데이터가 포함되어 있는 수십억 개의 레코드들로 구성된 데이터 세트에도 확장할 수 있습니다.
• 실시간 모니터링 기능: 대규모 탐지 시스템 운영을 가능케 하는 접근 방식은 해당 시스템의 작동도 가속화시켜줍니다. 복잡한 데이터에서도 유사성 검색을 매우 빠르게 수행할 수 있습니다.
• 변화하는 패턴에 대한 적응성 향상: 레코드 클러스터를 생성하는 알고리즘은 새로운 레코드 클러스터를 찾아냄으로써 잠재적 이상값을 포착할 수도 있습니다. 이러한 클러스터는 새로운 이상값을 나타낼 수도 있지만, 단순히 기록되는 내용이 변화한 사실을 나타내는 것일 수도 있습니다. 예를 들어 매장에서 취급하는 제품이 소셜 미디어에서 화제가 되면 데이터 내에 새로운 클러스터가 발생합니다. 이 사례에서 이상값은 긍정적인 것입니다. 그 발생 원인을 분석하면 매장이나 생산자가 이를 재현하는 데 도움이 될 수도 있습니다. 열풍이 사그라들면 클러스터가 성장하지 않을 수도 있습니다. 그 또한 분석할 가치가 있는 데이터가 될 것입니다.
• 오탐 감소: 위의 사례와 같이 레코드의 변화가 비즈니스에 긍정적인 영향을 미칠 수도 있습니다. 반면 정적 규칙은 이러한 새로운 바이럴 판매 기록을 사기로 분류할 가능성이 있습니다. AI 기반 시스템은 일반적으로 데이터 관계를 더 섬세한 방식으로 분석하므로 오탐지 발생 가능성이 더 낮습니다.

주요 AI 이상 탐지 기법

AI 이상 탐지 모델은 다른 AI 개발 프로젝트와 동일한 일반적 단계 및 규칙을 따르지만, 그 목적에 잘 부합하는 특정 기법을 주로 사용합니다. AI 이상 탐지에 사용되는 주요 기법은 다음과 같습니다.

1. 지도 학습 또는 비지도 학습: 팀은 AI 이상 감지를 위해 지도 학습 또는 비지도 학습 중에서 선택해야 합니다. 둘 다 효과적인 방식입니다. 그러나 데이터 세트에 이상값이 라벨링된 경우는 상대적으로 드물며, 데이터 라벨링은 시간과 비용이 많이 드는 과정일 수 있습니다. 대부분의 경우 더 빠르고 비용 효율적인 비지도 학습이 선호됩니다. 이를 통해 레코드를 클러스터링하고 이상값을 식별할 수 있지만, 발견된 이상값이 무해한지 아니면 관리해야 할 위협을 나타내는지 판단하기 위해서는 추가적인 훈련이나 프로그래밍이 필요합니다.
2. 클러스터링 기반 방법: 클러스터링은 AI 모델이 중첩된 특성 및 기타 주목할 만한 유사성을 기반으로 데이터 포인트들을 그룹화하는, 이상 탐지에 자주 사용되는 일반적 AI 기법입니다. 데이터 포인트를 클러스터링함으로써 이상값을 포착하고 이상을 표시합니다. 일반적인 클러스터링 알고리즘으로는 K-평균, 고립 포레스트(Isolation Forest), 가우시안 혼합 모델(Gaussian mixed models) 등이 있습니다. 복잡하거나 고차원적인 레코드의 경우 벡터 표현이 점점 더 많이 사용되고 있습니다. 벡터 생성 및 처리를 지원하는 멀티모달 데이터베이스는 복잡한 데이터의 이상 탐지를 용이하게 만들어 줍니다.
3. 신경망: 신경망은 복잡한 패턴을 식별하고 비선형 관계를 분석하여 이상값과 이상 현상을 찾아내는 데 도움을 줍니다. AI 이상 탐지를 위한 신경망 아키텍처로는 재구성 단계에서 이상을 탐지할 수 있는 자동 인코더(autoencoder)와 생성자/판별자 패러다임을 활용해 판별자를 통해 이상치를 식별할 수 있는 생성적 적대 신경망(GAN)가 있습니다.
4. 시계열 이상 탐지 기법: 일정 기간 동안 기록되는 데이터의 경우 이상의 기법들이 유용하지만, 개중 가장 적절한 기법이 무엇일지는 자원, 목표, 데이터 포인트 및 기타 요인에 따라 달라집니다. 예를 들어, 클러스터링 알고리즘은 지리, 구매 범주, 비용과 같은 특정 차원을 그룹화하여 신용카드 거래의 사기 여부를 평가할 수 있습니다. 또 다른 사례로 신경망은 복잡한 제조용 기계의 생산 정확도와 사용 주기 간 관계를 관찰할 수 있습니다. 신경망은 해당 기계의 다양한 모니터링 데이터 간의 관계를 평가해 특정 데이터 포인트 조합이 평소보다 이른 유지보수의 필요성을 알리는 신호임을 식별할 수 있습니다.

AI 이상 탐지의 사용 사례

AI 이상 탐지는 다양한 애플리케이션과 산업 분야에 유용하게 사용할 수 있습니다. 고려해야 할 요소로는 목표하는 사용 사례가 내부 데이터, 외부 데이터 또는 양쪽 모두를 필요로 하는지, 실시간 탐지가 필요할지 등이 있습니다.

이상 탐지의 대표적인 사용 분야는 다음과 같습니다.

• 사이버 보안: 이상 탐지는 기업의 IT 환경 전반에 걸친 지속적인 모니터링을 통해 공격 신호일 가능성이 있는 지표를 식별할 수 있습니다. 멀티클라우드 환경의 경우 AI 이상 탐지는 중복되는 다양한 시스템과 구성으로 인한 어려움을 겪는 IT 팀에 상당한 도움을 제공할 수 있습니다. 멀티클라우드 환경에서 AI는 각 개별 클라우드 운영에 대한 전문 지식이 필요한 수많은 운영상의 세부 사항을 자동으로 모니터링할 수 있습니다.
• 금융: 사기 탐지는 이상 탐지의 가장 오래된 활용 사례 중 하나입니다. 금융 데이터 양이 증가함에 따라 AI의 활용이 합리적인 선택이 되었습니다. 금융 기관은 AI 이상 탐지를 통해 대규모 데이터 세트로부터 더 정확한 결과를 도출하는 모델을 확보할 수 있게 되었습니다. 동시에 금융 사기꾼들도 끊임없이 새로운 기법을 개발하고 있으며, AI는 더 넓은 맥락을 적용함으로써 탐지 모델이 진화하고 새로운 패턴을 더 잘 탐지할 수 있도록 지원합니다.
• 의료: AI는 병원 데이터를 분석하여 비효율성, 시설 미활용, 사기 등의 가능성을 시사하는 이상 징후를 식별하는 데 도움을 줄 수 있습니다.
• IT 운영: 기업의 IT 환경이 점점 더 복잡해지고 네트워크 모니터링 범위가 확대되는 상황에서 AI 이상 탐지 기술은 인간 전문가의 역량을 보완하고 '경보 피로도'를 최소화시켜줍니다. 예를 들어, AI는 애플리케이션 로그를 분석하여 응답 시간 지연이나 오류와 같은 성능 저하를 시사할 수 있는 이상 징후를 식별할 수 있습니다.
• 제조: 제조용 AI 이상 탐지 시스템은 이제 훨씬 더 많은 데이터 포인트를 평가하여 많은 비용을 발생시킬 수 있는 잠재적 가동 중단, 결함, 안전 위험 요인을 발견하고 해결하는 데 도움을 줍니다. 예를 들어, 장비의 비정상적인 온도 변동은 과열을 나타내는 신호일 수 있고, AI 기반 카메라로 제품이 고객에게 배송되기 전 결함을 감지할 수 있습니다.
• 도시 관리 및 건설: 이상 탐지 기술은 인프라 모니터링이 필요한 모든 분야에 이점을 제공하며, 특히 드론을 활용할 때 그 효과가 두드러집니다. 지자체의 경우 AI로 교량, 도로, 전력선 촬영 영상을 분석해 이상 징후를 식별함으로써 사전 예방적 유지보수를 수행합니다. 마찬가지로 AI 기반 이상 탐지 기능을 탑재한 드론은 프로젝트 모델 대비 프로젝트 진행 상황을 모니터링하고, 장비 누락이나 자재 배치 오류 등의 안전 위험 요소를 식별하고, 건설 중인 건물의 구조적 결함을 탐지할 수 있습니다.

Oracle Cloud AI Service를 사용한 이상 탐지 살펴보기

Oracle Cloud Infrastructure(OCI)의 AI 서비스들은 애플리케이션 및 워크플로에 AI를 통합하기 위한 사전 구축된 도구, 모델, 기능 모음을 제공하며 개중에는 다양한 구성별 이상 탐지를 지원하는 기능들도 포함되어 있습니다. OCI는 다양한 산업 및 사용 사례 전반에 걸친 모니터링, 유지보수, 감시를 위한 AI 기반 학습 및 적응 능력을 제공합니다.

산업별 데이터의 양과 복잡성이 증가하고 사기 및 기타 문제의 사전 식별 필요성이 높아지고 있는 지금 AI 이상 탐지의 전망은 매우 밝습니다. 딥러닝 및 비지도 학습 기법이 적용된 더욱 정교한 AI 모델들은 광범위한 라벨링 데이터 없이도 미묘한 이상을 탐지할 수 있으므로 이상 탐지의 핵심 요소로 자리잡을 것으로 예측됩니다. 또한 기업들은 향상된 실시간 분석, 기존 시스템과의 더 나은 통합, 에지 위치의 이상 탐지 시스템 배포 등을 위한 솔루션을 물색하고 있습니다.

OCI Anomaly Detection Service 사용 사례 확인하기

AI 이상 탐지 FAQ

AI 이상 탐지가 기존 방식과 차별화되는 점은 무엇인가요?

기존의 이상 탐지 방식은 팀이 규칙과 데이터 임계값을 직접 설정하는 방식입니다. 유효한 결과물을 도출할 수는 있지만 산업 변화에 적응하지 못하거나 비선형적 관계를 간과하는 등의 상당한 한계를 보이는 방식이었습니다. 반면 AI 이상 탐지는 변화하는 데이터에 더 잘 적응하고 더 다양한 유형의 데이터를 활용할 수 있습니다.

기업은 AI 이상 탐지가 필요한지 여부를 어떻게 판단할 수 있나요?

AI 이상 탐지는 일반적으로 기존 이상 탐지보다 강력하고 정확하고 빠르므로 많은 기업이 유용하게 사용할 수 있는 비즈니스 도구입니다. 그러나 기존 방법으로 충분한 경우도 있습니다. 어떤 방법이 가장 좋을지 파악하기 위해서는 데이터의 복잡성, 규제 요구사항의 엄격성, 보안 위험 요소 등을 검토해 보아야 합니다. 또한 사용 가능한 리소스의 범위를 고려해야 합니다. 예를 들어, 우리 회사가 사전 훈련된 모델을 구매하고 개선할 수 있는 역량을 갖추고 있는지, 그를 지원할 컴퓨팅 및 데이터 자원을 보유하고 있는지 등을 확인해야 합니다. 클라우드가 최선의 선택일까요? 대부분의 경우 가장 비용 효율적인 경로입니다.

AI 이상 탐지를 사용하기 위한 기본적인 단계는 무엇인가요?

AI 이상 감지를 사용하는 가장 기본적인 단계는 다음과 같습니다.

• 목표, 데이터 소스, 제약 조건 파악
• 목표 달성에 적합한 AI 알고리즘 선택
• 사전 훈련된 모델 또는 자체 개발 모델을 사용한 모델 훈련, 준비, 조정
• 실시간 데이터로 모델 실행 및 지속적인 출력물 모니터링
• 결과 평가를 통해 모델이 예상치 못한 추세를 발견하기 시작했는지 확인