[DB] 📚 Big Data 기술(feat. MapReduce, Hadoop)

 

https://www.inventateq.com/top-stories/big-data-what-it-is-and-why-it-matters/

데이터가 폭발적으로 증가하는 오늘 날, 데이터를 효과적으로 저장하고 분석하는 방법은 비즈니스 성공의 핵심 요소가 되었다.

전통적인 관계형 데이터베이스 관리 시스템(RDBMS)부터 대규모 데이터를 처리하기 위한 빅데이터 기술까지, 데이터 관리의 방식은 점점 더 다양해지고 있다. 

 

이번 포스팅에서는 RDBMS와 빅데이터의 관계를 시작으로, 데이터 웨어하우스(DW)와 데이터 레이크(DL)의 차이, 온라인 트랜잭션 처리(OLTP)와 온라인 분석 처리(OLAP)의 차이점, MapRduce의 원리와 역할, Hadoop 에코 시스템, 그리고 분산 시스템의 개념까지 살펴보며 현대 데이터 관리의 전반적인 흐름을 이해해보고자 한다.

 

 

빅데이터의 정의

빅데이터(Big Data)는 기존 데이터 처리 소프트웨어로는 다룰 수 없을 만큼 크고 복잡한 데이터 집합을 의미한다. 

이러한 데이터는 수집, 저장, 정보, 분석, 검색, 전송, 시각화, 질의 등에서 다양한 도전 과제를 제공한다.

 

빅데이터의 핵심 특성으로는 Volume(규모), Variety(다양성), Velocity(속도) 가 있으며, 여기에 Veracity(정확성), Value(가치)가 추가로 언급되기도 한다. 이러한 특성을 통해 빅데이터는 단순한 데이터 양 뿐 아니라 그 활용 가능성과 품질을 평가하는데 중점을 둔다.

https://medium.com/@get_excelsior/big-data-explained-the-5v-s-of-data-ae80cbe8ded1

 

Volume은 데이터의 크기, Velocity는 데이터의 생성/처리속도, Variety는 데이터의 다양성(Structured, Semi-structured, Unstructured)을 의미한다. Veracity는 데이터의 정확성, 불확실성, Noise, 오류를 가리키고 Value는 데이터의 가치이다.

 

 

Database 작업의 두 종류

데이터베이스 작업 방식의 종류에는 온라인 분석 처리(OLAP) 및 온라인 거래 처리(OLTP) 두가지가 존재한다.

이 방식들은 비즈니스 데이터를 저장하고 분석하는 데 도움이 되는 데이터 처리 시스템다. 웹 사이트, 애플리케이션, 스마트 미터 및 내부 시스템과 같은 여러 소스에서 데이터를 수집하고 저장할 수 있다.

 

OLAP는 다양한 관점에서 데이터를 분석할 수 있도록 데이터를 결합하고 그룹화한다. 

반대로 OLTP는 트랜잭션 데이터를 안정적이고 효율적으로 대량으로 저장하고 업데이트한다.

각 방식은 아래와 같은 차이점을 가진다.

 

 

빅데이터 저장 시스템

데이터 웨어하우스(Data Warehouse) & 비즈니스 인텔리전스(Business Intelligence)

데이터 웨어하우스는 정보에 입각한 의사 결정을 내릴 수 있도록 분석 가능한 정보의 중앙 리포지토리이다.

데이터는 트랜잭션 시스템, 관계형 데이터베이스 및 기타 소스로부터 보통 정기적으로 데이터 웨어하우스로 들어간다.

데이터 엔지니어, 데이터 사이언티스트 및 의사결정권자는 비즈니스 인텔리전스(BI) 도구, SQL 클라이언트 및 기타 분석 애플리케이션을 통해 데이터에 액세스 한다. ETL에서 다양한 데이터를 정형화하여 창고에 차곡차곡 쌓아놓는다고 볼 수 있다.

 

비즈니스 인텔리전스는 의사결정 시스템으로 볼 수 있는데, 비즈니스 전략 및 운영에 대한 정보를 제공하는 인사이트를 제공하기 위해 조직 데이터를 수집, 관리 및 분석하기 위한 일련의 기술 프로세스이다. BI 도구를 사용하면 비즈니스 사용자가 과거 및 현재, 타사 및 사내, 반정형, 소셜 미디어와 같은 비정형 데이터 등 다양한 유형의 데이터에 액세스할 수 있다.

BI의 진화(2000's 하둡, Hbase 등의 등장)

 

 

데이터 레이크(Data Lake)

Data Warehouse는 구조화 데이터만을 다루는 것과 달리, Data Lake는 구조화 데이터와 비구조화 모두를 포함하여 대량의 데이터를 원래의 형식과 구조 그대로 저장할 수 있는 고도로 확장 가능한 유연한 스토리지 시스템이다.

빅데이터는 이러한 시스템을 통해 구조와 형식에 구애받지 않고 데이터를 유연하게 저장하고 처리할 수 있는 환경을 제공한다.

 

 

아래 자료를 통해 더 자세한 차이를 확인할 수 있다.

https://panoply.io/data-warehouse-guide/data-warehouse-vs-data-lake/

 

한눈에 보는 둘의 관계

데이터 늪(Data Swamp)

데이터 레이크는 형식에 구애받지 않고 다양한 데이터를 받을 수 있는 시스템이지만, 제대로 관리하지 못하면 데이터 스웜프(늪)으로 전락할 수 있다.

데이터 스웜프는 데이터가 비효율적으로 저장되다 유용성을 잃은 데이터 레이크의 실패 사례로 볼 수 있다.

데이터가 체계적으로 관리되지 않아 검색과 분석이 어렵고, 메타데이터가 부족하거나 부정확하여 데이터의 활용에도 문제가 생길 수 있다.

 

이렇게 되는 것을 방지하기 위해서는, 명확한 데이터 관리 전략과 품질 관리 프로세스가 필요하다.

 

 

Apache Hadoop

Apach Hadoop은 대규모 데이터를 처리하기 위해 설계된 오픈소스 소프트웨어 프레임워크로, 여러 대의 컴퓨터(클러스터)를 네트워크로 연결하여 대량의 데이터를 저장하고 계산할 수 있도록 지원한다.

• 특징 : 다양한 IT 기업(야후, 인텔, IBM..)의 협업으로 만들어진 공개 소프트웨어로, 누구나 사용하고 기여할 수 있는 환경을 제공한다. 그리고 단일 컴퓨터가 아닌 여러 대의 일반 컴퓨터를 연결하여 데이터를 처리하며, 이는 비용 효율성을 극대화 시킨다.
• 데이터를 처리하는 방식: Hadoop Distributed File System(HDFS)를 통해 데이터를 분산 저장하고, Hadoop MapReduce(HadoopMR)을 활용하여 데이터를 계산한다.

단일 서버에서 수천 대의 컴퓨터까지 확장 가능하며, 하드웨어 장애를 탐지하고 처리할 수 있는 기능으로 안정성을 제공한다.

Apach Hadoop은 현재 빅데이터 플랫폼의 사실상 표준으로 자리잡고 있으며, 다양한 기업과 기관에서 활용되고 있다. 이를 통해 대규모 데이터를 효율적으로 저장하고 분석하는데 필수적인 역할을 하고있다.

 

 

왜  Hadoop을 쓰는가?

Hadoop은 대규모 데이터를 처리하고 저장할 수 있는 빅데이터 환경에서 필수적인 솔루션으로 주목받고 있다. 

기존의 환경으로 빅데이터를 처리가 어려운 가장 큰 이유는

 

1. 데이터의 규모

: 현대 데이터는 너무 방대하다. TB에서 PB에 이르는 데이터 크기는 기존의 데이터 처리 기술로는 한계에 도달한다.

 

2. 수직적 확장의 문제

: 기존의 데이터 처리 시스템은 하드웨어 성능을 향상시키는 수직적 확장 방식에 의존했지만, 이는 비용이 많이 들고 한계가 명확하다.

 

대표적으로는 이렇게 두가지를 뽑을 수 있다.

 

이러한 상황에 Hadoop을 선택해야 하는 이유와 그 장점은 아래와 같다.

• 대규모 데이터 처리: TB~PB 수준의 대규모 데이터를 저장하고 효율적으로 처리할 수 있는 능력을 제공한다. (MapReduce로 데이터 병렬 처리)
• 컴퓨팅 파워: 노드 수가 늘어날수록 컴퓨팅 파워도 증가하여 효율적인 분산 처리가 가능
• 결함 허용성(Fault Tolerance): 데이터 복제와 작업 복구를 통해 장애 상황에서도 안정성을 보장한다
• 유연성: 정적인 스키마가 필요 없어 다양한 형식의 데이터 처리 가능
• 저비용: 오픈소스 소프트웨어와 일반적인 하드웨어를 사용하여 비용을 절감
• 확장성: 클러스터에 노드를 추가하는 방식(수평적 확장(Scale-out))으로 처리 능력을 쉽게 확장할 수 있다 

이러한 장점을 통해 기존 데이터 처리 방식의 한계를 극복하고, 빅데이터 환경에서 핵심적인 역할을 수행한다.

 

vs RDBMS

RDBMS와 비교를 해보자면, 다루는 데이터 사이즈에서 큰 차이를 볼 수 있다. 

RDBMS는 TB단위만 다루게 되어도 버거운 편이다. 오라클도 TB단위는 쉽게 처리하지 못한다.

또한 확장성 면에서 가장 두드러지는데, RDBMS는 하드웨어 자체를 바꾸거나 갈아치워야 한다면 Hadoop은 기존 환경에서 값 싼 노드를 추가하는 것도, 상황에 따라 일부를 빼는 것도 쉽다.

위에서 다루었던 OLTP와 OLAP에 각각 사용되며 OLTP는 구조화된 데이터를 ACID 하게 다루고 OLAP는 구조화되지 않은 데이터라도 처리를 할 수 있으며 분석에 중점을 둔다.

 

 

구성 모듈 4가지 

Hadoop은 4가지 주요 모듈로 구성된다. 이 네 가지 모듈은 함께 빅데이터 저장 및 처리의 핵심 역할을 한다.

1. Hadoop Common
   Hadoop의 다른 모듈을 지원하는 공통 유틸리티를 제공
2. Hadoop Distributed File System (HDFS)
   애플리케이션 데이터에 대한 높은 처리량을 제공하는 분산 파일 시스템(Java-based)
   너무 큰 데이터는 하나의 서버에 저장할 수 없기 때문에, 적당한 크기의 Block으로 데이터를 나누어 여러 대의 컴퓨터에 나누어 저장
3. Hadoop YARN
   작업 스케줄링과 클러스터 리소스 관리를 위한 프레임워크
4. Hadoop MapReduce
   YARN 기반의 시스템으로, 대용량 데이터를 병렬 처리하기 위한 프로세싱 모델을 제공

하둡 에코 시스템 - https://faun.pub/introduction-to-bigdata-and-hadoop-ecosystem-1929e59924cf

하둡은 기반 분산처리 시스템이 되고 그 위에 애플리케이션이 올라가는 구조이다. 

Yarn은 하둡 2.0 에서의 분산 컴퓨팅 시스템 이름이며 Spark는 하둡 2.0 위에서 애플리케이션 레이어로 실행된다.

 

Hadoop의 아키텍처

하둡을 실제로 써보려면 최소 마스터 PC 1, Slave PC 3대가 필요하다.

위쪽의 Masters는 한대 뿐이라 죽으면 안된다. federation으로 구현한다. 

그림의 NameNode는 데이터 작업의 작동을 제어한다. HDFS에서 데이터를 잘개 쪼개서 여러대에 분산시켜 저장한다고 하였는데, 어떤 컴퓨터에 어떤 block이 있는지를 NameNode가 관리한다. 이때 한 컴퓨터가 죽으면 그 컴퓨터의 블록을 접근할 수 없기 때문에, 아래 사진처럼 중복해서 블록들을 분산시켜 저장한다. 한 시스템이 먹통이 되어도 접근할 수 있도록

그 외에 Datanode는 로컬 스토리지에 블록 단위로 데이터를 쓰고, 데이터 블록을 다른 데이터 노드에 복제한다. SecondaryNameNode는 기본 NameNode가 오프라인이 되면 대신 수행한다.

 

 

MapReduce

MapReduce는 대규모 데이터셋을 처리하고 생성하기 위한 프로그래밍 모델이자 이를 구현한 구현체이다.

다양한 실세계 문제를 해결하기 적합하며, 사용자는 계산을 map 함수와 reduce 함수의 형태로 정의한다.

내부 런타임 시스템이 자동으로 대규모 클러스터의 여러 머신에 계산을 병렬로 분산한다.

머신 장애가 발생하더라도 효과적으로 처리할 수 있으며, 네트워크와 디스크 자원을 효율적으로 사용하도록 노드 간의 통신을 관리한다.

Map은 키/값 쌍을 처리하여 중간 키/값을 생성한다. 즉 문제를 더 작은 문제로 나누어 분산 해결 하는것이고,

Reduce은 동일한 중간 키와 연결된 모든 값을 병합한다. 분산한 문제별로 결과를 취합하는 것이다.

 

예를 들어, 책 한권에서 단어별 출연 빈도수를 센다면

Map은 아이들 각각에게 한 페이지씩 나누어 주고, <단어,빈도수>를 각각 포스트잇에 적어 보고하도록 하는 것이고

Reduce는 A/B/C/D/E... 별로 포스트잇을 취합하여 각각 숫자를 더하는 것이다. 

 

구글에서 2003년 개발 주요 사용 사례에 MapReduce를 통해 복잡한 알고리즘을 처리한 기록이 있다.