Data Mining?대규모의 데이터로부터 데이터의 패턴이나 규칙 등의 유용한 정보를 자동으로 발견하는 응용 및 방법(Knowledge Discovery)이다.통계학, 인공지능, 데이터베이스 등 다양한 분야에 사용된다.대표적으로 Association Rules(연관규칙), Clustering(군집화), Classfication(분류), Regression(회귀) 등이 있다.첫번째 그림은 데이터 마이닝의 프로세스를 나타낸다.  (데이터 -> 준비 -> 마이닝 알고리즘 -> 데이터 분석)두번째 그림은 그 예시이다. 대출 신청서 및 관련 데이터가 정리 및 변환된다. 이 데이터는 대출 승인 또는 거절을 예측하는데 사용 될 것이다. 알고리즘이 데이터를 분석하여 모델을 생성하고, 학습된 모델이 대출 신청 데이터를 ..

데이터가 폭발적으로 증가하는 오늘 날, 데이터를 효과적으로 저장하고 분석하는 방법은 비즈니스 성공의 핵심 요소가 되었다.전통적인 관계형 데이터베이스 관리 시스템(RDBMS)부터 대규모 데이터를 처리하기 위한 빅데이터 기술까지, 데이터 관리의 방식은 점점 더 다양해지고 있다.  이번 포스팅에서는 RDBMS와 빅데이터의 관계를 시작으로, 데이터 웨어하우스(DW)와 데이터 레이크(DL)의 차이, 온라인 트랜잭션 처리(OLTP)와 온라인 분석 처리(OLAP)의 차이점, MapRduce의 원리와 역할, Hadoop 에코 시스템, 그리고 분산 시스템의 개념까지 살펴보며 현대 데이터 관리의 전반적인 흐름을 이해해보고자 한다.  빅데이터의 정의빅데이터(Big Data)는 기존 데이터 처리 소프트웨어로는 다룰 수 없을..

NoSQL이 무엇이고, 사용 목적이 무엇인지 다루기에 앞서, RDBMS와의 비교가 필요하다.전통적인 RDBMS의 특징RDBMS는 관계형 데이터 모델이며, SQL을 통해 조작할 수 있다. 관계형의 특징을 살려 다양한 쿼리를 작성하고 정규화, 트랜잭션, 병행처리, 2PL, Recovery, Log ... 등등 다양한 기능이 존재하고,이를 활용하여 다양한 요구사항을 구현하고 최적화하는 등 성능적으로는 훌륭한 처리가 가능하다.  이렇게 다양한 기능을 갖추고 있지만, 문제점 또한 만만치 않다.비용: RDBMS는 다양한 기능만큼이나 비용도 많이 드는 편이다. 데이터가 많아지고 사용하는 유저(접속량)가 많다면 DB를 여럿 다뤄야 하는데, 비용이 많이 들어 쉽지 않다.스키마: 정형된 스키마가 없으면 문제가 발생한다. ..

본 포스팅은 학교 수업에서 진행하는 이론,실습에 대해 정리하는 포스팅 입니다. 공부용으로 작성하는 포스팅으로 오류가 있을 수 있습니다. 데이터베이스에서 인덱스는 성능 최적화를 위한 핵심 도구로서 대규모 데이터 처리 속도를 획기적으로 향상시킬 수 있다.이번 글에서는 인덱스의 개념, 작동 원리, 장단점, 사용시 유의사항 등을 다뤄본다.   데이터베이스 인덱스란인덱스는 책의 색인처럼, 데이터베이스 테이블에서 특정 데이터를 빠르게 찾을 수 있도록 설계된 자료 구조이다. 데이터 검색 시 전체 테이블을 스캔하지 않고, 인덱스를 통해 원하는 데이터에 빠르게 접근할 수 있다. 데이터베이스에서 원하는 데이터를 조회할 때, 예시와 같이 쿼리를 짜고 접근하게 되면, 데이터베이스는 age 컬럼의 모든 값을 뒤지면서 조건에 맞..

본 포스팅은 학교 수업에서 진행하는 이론,실습에 대해 정리하는 포스팅 입니다. 공부용으로 작성하는 포스팅으로 오류가 있을 수 있습니다. 병행 제어(Concurrency Control)데이터베이스 시스템의 주요 목표는 일관성과 공용성이다.공용성은 여러 사용자가 데이터 베이스를 이용 가능하도록 하는 것을 의미하는데,이렇게 되면, 충돌이 발생할 수 밖에 없다. 그럼에도 동시 공용(Concurrent Sharing)은 공용도 증가, 응답시간의 단축, 시스템 활용도 증대 등의 이점을 위해 필요하다.  병행 제어는 다양한 기법이 존재한다.Locking: 공유항목에 대해 다른 트랜잭션에서는 read만 가능하도록 (Shared  Lock), 혹은 read/write 둘다 불가능하도록(Exclusive Lock)2Pha..

본 포스팅은 학교 수업에서 진행하는 이론,실습에 대해 정리하는 포스팅 입니다. 공부용으로 작성하는 포스팅으로 오류가 있을 수 있습니다. 트랜잭션트랜잭션은 여러 사용자가 (동시에) 동일한 데이터베이스를 공유할 수 있도록 지원한다.동시에 사용할 때, 데이터베이스는 일관성(consistency)을 보장하기 위해 동시성 제어(concurrency control)기능을 제공한다.정의: DB 작업을 수행하는 단위 프로세스이자 회복(Recovery)의 논리적 단위 (예: 계좌이체, 좌석예약) Begin_Trans...End_Trans 트랜잭션은 다음과 같은 성질을 갖는다.원자성(Atomicity): 트랜잭션과 관련된 작업들이 부분적으로 실행되다가 중단되지 않는 것을 보장하는 능력일관성(Consistency): 트랜잭..