카프카의 기본 구조
카프카 내부에 데이터가 저장되는 파티션의 동작은 FIFO 방식의 큐 구조와 유사하다.
•
프로듀서 : 카프카에 데이터를 보내는것
•
토픽 :
◦
RDBMS의 테이블 같은 개념
◦
구분 하고자 하는 데이터의 개념
◦
하나 이상의 파티션으로 구성되어 있다.
•
파티션 :
◦
토픽에 속한 레코드를 실제 저장소에 저장하는 가장 작은 단위
◦
큐 구조로 되어 있다.
•
컨슈머 : 카프카 큐에서 데이터를 가져가는 것
중요 : 프로듀서에서 토픽에 특정메세지를 보낼 때 3개의 파티션중 하나의 파티션에만 저장하게 된다.
컨슈머가 파티션의 데이터를 가져가더라도, 파티션의 데이터는 삭제되지 않고 유지 된다. 그렇다면, 컨슈머는 어떻게 파티션의 데이터를 순차적으로 가져가는가?
→ 컨슈머는 파티션에 커밋을 통해서 어디까지 데이터를 가져갔는지 기록해 둔다.
오늘은 카프카의 기본 구조에 대해 알게 되었다.
각각의 구조와 기능이 어떻게 되는지 인지하고 있어야지, 다음 강의에서 안 헷갈릴 것으로 보이며, 정리한 내용은 숙지해 놓자.