Crawling Engineer
- Web에서 Data를 Crawling해서 원하는 형태에 맞게 Database에 가공하여 저장하고, 원하는 형태의 데이터로 API를 제공해주는 역할을 하는 Engineer.
기술 스택
- http 프로토콜, TCP/IP와 UDP의 이해, RDBMS, NoSQL, 대용량 데이터 분석 및 처리의 이해
- API와, Crawling 할 대상 데이터의 구조 이해 등등
- 대량의 데이터를 효율적으로 저장 하기 위한 Database의 구조에 대한 깊은 이해.
- RDBMS와 NoSQL의 구조에 대한 이해를 바탕으로 한 효율적 쿼리 설계.