[빅분기] 1과목 - 빅데이터 수집 기술

728x90

크롤링(Crawling)
- 무수히 많은 컴퓨터에 분산 저장되어 있는 문서를 수집하여 검색 대상의 색인으로 포함시키는 기술
- 웹사이트에서 뉴스 등 웹 문서나 콘텐츠를 수집하는 기술
로그 수집기
- 조직 내부에 있는 웹 서버나 시스템의 로그를 수집하는 소프트웨어
센서 네트워크(Sensor Network)
- 유비쿼터스 컴퓨팅 구현을 위한 초경량 저전력의 많은 센서들로 구성된 유무선 네트워크
- 센서를 통해 획득된 여러 정보를 네트워크로 구성된 통합 환경 내에서 재구성하여 처리
RSS Reader / Open API
- 데이터의 생산, 공유, 참여할 수 잇는 환경인 웹 2.0을 구현하는 기술
- 필요한 데이터를 프로그래밍을 통해 수집
ETL 프로세스
- 데이터의 추출(Extract), 변환(Transform), 적재(Load)의 약어
- 다양한 원천 데이터를 취합해 추출하고 공통된 형식을 변환하여 적재하는 과정
스쿱(Sqoop)
- 관계형 DBMS로부터 HDFS로 커넥터를 이용하여 데이터를 수집할 수 있는 기술

728x90

Level Up Project