Project/Pilot_Smart Car
2022. 5. 30.
1. 빅데이터 이해 (2)
5. 빅데이터 기술의 변화 소프트웨어 플랫폼은 hadoop을 기반으로 오픈소스 생태계가 만들어졌다. 빅데이터 기술의 핵심은 Hadoop(소프트웨어) 이다. 이 hadoop 기술을 주도하는 것이 중요하다. 6. 빅데이터 구현 기술 빅데이터 6V 의 요건과 중요도에 따라 최적화된 아키텍처를 구성해야한다. (1) 빅데이터 수집 조직의 내외부 시스템으로부터 원천 데이터를 효과적으로 수집해야함. 분산 기능의 선형적 확장을 필요로 한다.(크고 다양한 형식의 데이터를 빠르게 처리해야해서) CEP(Complex Event Processing) ESP(Event Stream Processing) 수집 단계에서는 정재/변환/제거 등 전처리하여 데이터 품질 향상 후, 빅데이터에 저장하게 된다. 수집 단계에서는 6V 중 크기..