[DB] ⛏️ 데이터 마이닝(Data Mining)

https://artoftesting.com/what-is-data-mining

Data Mining?

대규모의 데이터로부터 데이터의 패턴이나 규칙 등의 유용한 정보를 자동으로 발견하는 응용 및 방법(Knowledge Discovery)이다.

통계학, 인공지능, 데이터베이스 등 다양한 분야에 사용된다.

대표적으로 Association Rules(연관규칙), Clustering(군집화), Classfication(분류), Regression(회귀) 등이 있다.

데이터 마이닝 프로세스

첫번째 그림은 데이터 마이닝의 프로세스를 나타낸다.  (데이터 -> 준비 -> 마이닝 알고리즘 -> 데이터 분석)

두번째 그림은 그 예시이다. 대출 신청서 및 관련 데이터가 정리 및 변환된다. 이 데이터는 대출 승인 또는 거절을 예측하는데 사용 될 것이다. 알고리즘이 데이터를 분석하여 모델을 생성하고, 학습된 모델이 대출 신청 데이터를 평가한다. 그 결과에 따라 대출 신청이 거절되거나 승인된다. 프로세스 전체 중에서 데이터 준비(Preparation)이 가장 중요

 

 

연관 규칙(Assosiation Rule)

연관 규칙은 데이터에서 서로 다른 아이템 집합 간의 연관성을 분석하는 기법이다. 

예를 들어 X가 발생하면 Y도 발생한다는 패턴을 찾는 데 사용된다. 이 기법은 장바구니 분석을 하는 경우 등에 사용 할 수 있다.

 

연관규칙을 정의하는데 필요한 요소는 다음과 같다.

대표적인 알고리즘

1. Apriori Algorithm
   • Agrawal과 Srikant이 1994년에 제안.
   • 빈번한 아이템 집합을 반복적으로 생성하며 연관 규칙을 도출.
2. FP-Growth Algorithm
   • 데이터의 빈번한 패턴을 효율적으로 찾는 알고리즘.

 

Apriori 알고리즘

연관 규칙 분석에서 가장 널리 사용되는 방법 중 하나로, 데이터베이스에서 빈번한 아이템 집합(Frequent Itemsets)을 효율적으로 탐색하고 이를 기반으로 규칙을 생성한다.

 

아래는 Minimum Support = 2 로 설정된 예제이다.

데이터 준비: 입력 데이터는 거래(Transaction) 목록으로 구성된다 (TID, items로 이루어진 데이터베이스 D)

C1 생성: 모든 아이템 개수 계산 -> 데이터베이스를 스캔하여 각각의 아이템이 거래에서 등장한 횟수(Support)를 계산

L1생성: 최소 지지도 기준으로 필터링 -> minimum Support(최소 지지도)가 2로 설정되었기 때문에, 등장 횟수가 2 미만인 아이템은 제거

C2생성: 두개의 아이템 조합 -> 남은 아이템들을 2개씩 조합하여 가능한 모든 아이템 집합 생성

L2 생성: 최소 지지도 기준으로 다시 필터링

C3 생성: 3개의 아이템 조합 -> L2에서 살아남은 아이템 집합들을 조사하여 3개로 확장.

L3 생성: 최종 빈번한 아이템 집합 도출 -> 최소 지지도 기준으로 등장 횟수가 2 이상인 집합만 선택

최종 결과 : {2,3,5}가 최소 지지도 2 기준에서 최종 빈번한 아이템 집합으로 도출

 

포인트는 반복적 탐색으로 필터링을 하는 것, 그리고 불필요한 조합을 미리 제거하여 연산량을 줄이는 것이다.

이렇게 도출된 빈번한 아이템 집합을 기반으로 연관규칙(예: 2와 3을 사면 5를 살 가능성이 높음)을 생성할 수 있다.

 

전자상거래 장바구니 분석, 마케팅 제품 추천 시스템 등에 쓰일 수 있다.

 

 

Clustering

데이터를 유사한 특성을 가진 그룹(Cluster)로 묶는 과정이다. 이 과정은 주로 비지도 학습(Unsupervised Learning) 기법에 속하며, 데이터에 대한 사전 레이블 없이도 숨겨진 패턴이나 구조를 찾는데 사용된다.

데이터 구조를 이해하고 효율성을 향상시키는 것을 목적으로 한다. 

 

대표적인 알고리즘은 K-means 등이 있으며, 이미지 분류, 이상 탐지, 추천 시스템(비슷한 성향의 사용자 그룹 생성) 등에 쓰인다.

 

K-means

데이터를 K개의 클러스터로 나누는 가장 널리 쓰이는 알고리즘이다. 

각 데이터는 가장 가까운 중심점에 할당되며, 클러스터는 중심점을 기준으로 정의된다.

N개의 데이터를 K개의 클러스터로 나누고, 각 데이터는 가장 가까운 중심점을 기준으로 클러스터에 소속된다.

중심점은 클러스터의 중심을 나타내며 데이터가 소속될 클러스터를 결정하는 기준이 된다.

최적화 목표는 클러스터 내 데이터 간의 거리를 최소화하는 방향으로 중심점을 반복적으로 조정한다.

 

알고리즘 흐름을 순서대로 정리해보면

1. 초기 중심점(K개의 랜덤 위치) 설정.
2. 각 데이터를 가장 가까운 중심점에 할당.
3. 각 클러스터의 평균 위치를 계산하여 중심점 갱신.
4. 중심점 변화가 없을 때까지 반복.

이 과정을 반복한다.

 

어떤 흐름으로 클러스터링 되는지는 시각적으로 보는 것이 가장 도움이 되었던 것 같아서, 유튜브 영상을 남겨둔다.

https://youtu.be/nXY6PxAaOk0?si=_CoRYsVZFh0hlfmZ

K-means는 중심점과 데이터 할당을 반복하여 최적화하는 EM 알고리즘에 해당된다. 

간단하고 빠른 연산이 가능하여 대규모 데이터에도 효율적이다.

 

고객 세분화, 이미지 압축, 이상 탐지, 문서 분류 등에 사용된다. 

 

 

 

분류(Classfication)

분류는 주어진 변수에 대한 카테고리를 찾는 과정이다. 예를 들어, 증상을 보고 환자가 함에 걸렸는가를 Yes, No로 판단하는 것

이러한 분류는 Supervised learning(training data)가 필요하다.

 

대표적인 알고리즘으로는 Decision Tree, Support Vector Machines이 있다. 통계학과 선형대수의 이론을 알고 있어야 설명할 수 있는 내용이므로 알고리즘에 대한 설명은 생략한다.

 

 

 

Support Vector Machine(SVM)

기계 학습의 분야 중 하나로 패턴 인식, 자료 분석을 위한 지도 학습 모델이다.

신호 처리, 의료 응용 분야, 자연어 처리, 음성 및 영상 인식을 비롯 여러 분류 및 회귀 문제에 사용되는 알고리즘이다.

-> SVC(Classfication), SVR(Regression)

 

데이터가 많이 필요 없지만, 수학적 Background가 필요하다.

 

 

혼동 행렬(Confusion Matrix )

혼동 행렬은 분류(Classification) 모델의 성능을 시각적으로 평가하는 데 사용되는 표 형식의 도구다.

분류 묘델의 예측 결과와 실제 결과를 비교하여 TP, FP, TN, FN 4가지 주요 지표를 도출한다.

 

구성

• True Positive (TP): 실제로 Positive인 데이터를 Positive로 올바르게 예측한 경우.
• False Positive (FP): 실제로 Negative인 데이터를 Positive로 잘못 예측한 경우 (Type I error).
• True Negative (TN): 실제로 Negative인 데이터를 Negative로 올바르게 예측한 경우.
• False Negative (FN): 실제로 Positive인 데이터를 Negative로 잘못 예측한 경우 (Type II error).

예를 들어, 암이 걸린 환자가 암이 안걸렸다고 잘못 판단하는 경우를 False Negative라고 한다. 이러한 오류는 치명적이기 때문에 줄여야 한다. 

Precision(정밀도) and Recall(재현율)

정밀도, 재현율 두 개념은 분류 모델의 성능을 평가하는데 중요한 지표이다. 

Positivie라고 예측한 값 중 실제로 Positive인 비율을 의미한다.

 

 

정밀도

정밀도는 Positive라고 예측한 값 중 실제로 Positive인 비율을 의미한다.

FP를 줄이는 것이 중요하다. 즉 잘못된 Positive 예측을 줄이는 데 초점을 맞춘다.

예를 들어 스팸 필터 등을 구현할 때, 유효한 이메일을 스팸으로 분류하지 않도록 하는 것을 우선시 해야한다.

-> 안전이 우선이다 라는 접근방식

재현율

재현율은 Positive인 값 중 모델이 Positive로 올바르게 예측한 비율을 의미한다.

FN을 줄이는 것이 중요하다. 즉 놓친 Positive 예측을 최소화하는데 초점을 맞춘다.

예를 들어 고객 관리 시스템에서 중요한 고객을 놓치지 않는 것을 우선시 해야한다.

-> 접근성이 우선이다 라는 접근 방식

 

 

이 두가지 지표 외에도,  혼동 행렬을 기반으로 계산할 수 있는 주요 성능 지표는 다음과 같다.

특이도(Specificity)는 실제 Negative중 제대로 예측한 비율, Accuracy는 전체 데이터중 올바르게 예측한 비율이다. 

 

F-measure(F1 Score)

F-Measure는 Precision과 Recall의 조화 평균(Harmonic Mean)을 통해 두 지표 간의 균형을 측정하는 평가 지표이다.

두 지표중 어느 하나에만 치중하지 않고 종합적인 성능을 평가하는 지표로 사용된다.

 

예를들어, 가장 안전한 스팸 필터를 만든다고 하면 모든 이메일을 스팸으로 예측할 수 있지만, Recall은 높아도 Precision이 낮을 수 있다.

고객 관리 필터 또한 모든 고객을 VIP라고 예측하면 되지만, Precision은 낮아도 Recall이 높을 수 있다.

기본적인 F1-Measure의 경우 두 지표 모두에게 동일한 가중치를 부여한다.

Fb-Measure의 경우 b값을 통해 둘 중 하나에 더 높은 가중치를 부여한다. 

b가 1보다 크면 Recall에, 1보다 작으면 Precision에 더 큰 비중을 둔다.

이걸 좀 더 확장해서

F2-Measure와 F0.5-Meauser도 정의된다.(각각 b가 2와 0.5)

 

이처럼 F-Measure지표는 Precision과 Recall의 우선순위를 조정하여 모델의 성능을 최적화하는데 도움을 준다.

 

 

마찬가지로, Confusion Matrix는 이렇게 다양한 지표들을 다루어 모델의 특성을 파악하고, 오분류 되는 문제점을 파악하는 등 성능을 평가하는 용도로 활용할 수 있다. 이를 토대로 모델을 개선하는 것이 가능하다.