콘텐츠
- 하둡 공급 업체의 자연스러운 진행
- 버그 없음, 스트레스 없음-인생을 파괴하지 않고 인생을 바꾸는 소프트웨어를 만드는 단계별 가이드
- 빅 데이터 및 클라우드 통합
- 빅 데이터 및 보안 문제
- 빅 데이터를 서비스로 제공
- 빅 데이터와 사물 인터넷 (IoT)
- 결론
출처 : Ymgerman / Dreamstime.com
테이크 아웃 :
빅 데이터 분야는 지속적으로 성장하고 변화하고 있지만 몇 가지 주요 트렌드가 있습니다.
빅 데이터는 여전히 데이터 과학에서 비교적 새로운 분야입니다. 분석 세계에 큰 영향을 미쳤으며 기술이 발전함에 따라 빅 데이터 기술과 플랫폼이 계속 변경 될 것입니다. 그렇기 때문에 앞으로 다가올 빅 데이터의 향후 트렌드를 이해하는 것이 중요합니다.
지난 몇 년 동안 하둡과 빅 데이터 기술에 대한 많은 논의가 있었고 IT 산업은 미래에 대해 상당히 토론하고 있습니다. 주요 관심사는 Hadoop과 빅 데이터가 주류 기술의 일부로 간주되는지 아니면 틈새 영역으로 간주되는지 여부입니다. 과거에 보았 듯이, 주류 산업에서는 사용되지 않았지만 특수 컴퓨팅 목적으로 사일로에서 사용 된 많은 기술 혁신이있었습니다.
매우 짧은 시간 동안 빅 데이터는 주류 기술이되었습니다. 2013 년과 2014 년에 우리는 기업이 빅 데이터 애플리케이션을 프로덕션으로 옮기기위한 이니셔티브를 취하는 것을 보았습니다. 초기에는 회사가 기술과 그 결과를 검증하는 POC (개념 증명) 유형에 불과했습니다. 이제 2015 년과 향후 몇 년 동안 새로운 사용 사례가 많이 구현 될 것입니다. 이러한 사용 사례의 대부분은 실시간 분석을 기반으로하며보다 실행 가능한 통찰력을 얻습니다.
앞으로 몇 년간 우리는 거의 모든 산업에서 빅 데이터의 영향을 크게받을 것입니다. 데이터는 모든 비즈니스의 핵심에 있으므로 제대로 두드리고 분석해야합니다. 빅 데이터 및 관련 기술을 통해 데이터를 캡처, 처리 및 분석하여 의미있는 통찰력을 얻을 수 있습니다. 빅 데이터 트렌드는 지속적으로 성장하고 이전과는 달리 그 가치를 이해하도록 힘을 실어 줄 것입니다.
이제 앞으로 몇 년 동안 볼 수있는 중요한 빅 데이터 트렌드를 살펴 보겠습니다.
하둡 공급 업체의 자연스러운 진행
하둡은 빅 데이터 처리를위한 기본 기술 플랫폼입니다. 그러나 기본 Hadoop 플랫폼은 모든 데이터를 올바르게 처리하는 데 필요한 모든 유연성과 이점을 제공하지 않으므로이 기본 Hadoop 플랫폼에서 빅 데이터 처리를 처리하는 것은 지루하고 복잡 할 수 있습니다.
이제 Hive, Pig 등의 많은 Hadoop 관련 기술이 있으며 "Hadoop 생태계"라고합니다. 이러한 기술은 Hadoop 플랫폼을 기반으로하며 빅 데이터 처리를보다 관리하기 쉽게 만듭니다. Cloudera, MapR, Hortonworks 및 Hadoop 기술 스택을 제공하는 IBM과 같은 여러 공급 업체가 있습니다. 이 기술 플랫폼은 기본 Hadoop 프레임 워크를 기반으로하지만보다 사용자 친화적이고 컴팩트합니다. 또한 다양한 처리 작업을 수행 할 수있는 적절한 사용자 인터페이스를 제공합니다. 결과적으로 회사는 플랫폼이 아닌 비즈니스 로직에 더 집중할 수 있습니다.
이러한 Hadoop 공급 업체의 성장은 향후 몇 년 동안 계속 될 것이며 해당 제품은 많은 영향을 미칠 것입니다. Hadoop 공급 업체는 스스로 솔루션 제공 업체로 자리 매김하고 조직이 빅 데이터 애플리케이션을 구현하도록 돕습니다.
버그 없음, 스트레스 없음-인생을 파괴하지 않고 인생을 바꾸는 소프트웨어를 만드는 단계별 가이드
아무도 소프트웨어 품질에 신경 쓰지 않으면 프로그래밍 기술을 향상시킬 수 없습니다.
빅 데이터 및 클라우드 통합
오늘날 세계에서는 클라우드 컴퓨팅과 관련 인프라가 불가피합니다. 반면에 빅 데이터 애플리케이션은 빠르게 성장하고 있습니다. 조직은 귀중한 데이터로부터 더 많은 통찰력을 얻기 위해 점점 더 큰 데이터 애플리케이션을 구현하고 있습니다. 아시다시피, 빅 데이터 애플리케이션은 많은 양의 데이터를 처리하며 이러한 데이터는 클러스터 환경에서 처리됩니다. 분산 컴퓨팅은 모든 빅 데이터 처리 응용 프로그램의 핵심입니다. 따라서 장애, 오류 또는 기타 치명적인 문제를 극복하기 위해 분산 컴퓨팅 인프라를 올바르게 유지 관리해야합니다. 클라우드 환경은 이러한 모든 문제를 해결하는 데 가장 적합합니다. 빅 데이터 애플리케이션은이 클라우드 인프라 (클러스터 환경으로 구성)에서 실행될 수 있으며 효율적이고 지속적인 출력을 제공합니다. 조직에는 자체 인프라와 IT 팀이 필요하지 않습니다. 대신 클라우드 인프라에 의존 할 수 있으며 비용도 효율적입니다. 따라서 빅 데이터와의 클라우드 통합은 강력한 힘이 될 것입니다.
빅 데이터 및 보안 문제
보안 문제는 모든 빅 데이터 응용 프로그램의 큰 관심사입니다. 아시다시피, 데이터는 모든 빅 데이터 애플리케이션의 핵심이므로 보안 위협을 미리 이해해야합니다. 조직은 빅 데이터 애플리케이션을 개발하여 구조화되고 반 구조화되고 구조화되지 않은 데이터를 분석하여 의미있는 통찰력과 비즈니스 방향을 제시합니다. 이 귀중한 데이터와 그 결과는 모든 비즈니스 결정의 핵심이므로 조직 내에서 기밀로 유지해야합니다. 불행히도 모든 빅 데이터 애플리케이션이 보안 문제를 염두에두고 설계된 것은 아닙니다. 결과적으로 이러한 빅 데이터 애플리케이션은 보안 위협에 직면하게됩니다. 따라서 빅 데이터 애플리케이션을위한 보안 솔루션을 구현하는 것은 향후 몇 년간 중요한 작업이 될 것입니다.
빅 데이터를 서비스로 제공
우리는 애플리케이션이 클라우드 환경에서 실행되고 사용자가 서비스로 액세스하는 SaaS 모델에 모두 익숙했습니다. 사용자가 사용한만큼만 지불하는 지불 모델도 유연합니다. 빅 데이터 애플리케이션에도 동일한 개념이 적용됩니다. 다른 빅 데이터 제품 회사들은 이미 클라우드에서 애플리케이션을 호스팅하고이를 서비스로 제공하고 있으며, 사용자는 서비스로 액세스하여 사용량을 지불하고 있습니다. 앞으로 더 많은 데이터 회사가 빅 데이터를 서비스로 제공 할 것입니다.
빅 데이터와 사물 인터넷 (IoT)
사물 인터넷 (IoT)은 기술 산업의 최신 유행어입니다. IoT는 기본적으로 데이터 캡처를위한 센서가 장착 된 여러 장치로 구성됩니다. 이제이 모든 데이터를 수집하고 의미있는 결과를 추출하는 것이 가장 큰 과제입니다. 이 장치는 가정, 산업 및 웨어러블 기술 등 모든 곳에서 사용되며 상당한 양의 데이터를 캡처하고 있습니다. 이 센서 데이터는 일종의 빅 데이터이기도하므로 빅 데이터 플랫폼에서 데이터를 사용하고 처리하는 것은 조직에게 큰 과제가 될 것입니다.
결론
빅 데이터는 여기에있는 것으로 보이며,이를 처리하는 방식은 계속 변화하고 성장할 것입니다. 이 5 가지 트렌드 외에도 향후 몇 년 동안 더 많은 과제와 새로운 트렌드가있을 것입니다. 클라우드 및 IoT는 빅 데이터 애플리케이션과 함께 항상 존재할 것이며 이러한 기술은 데이터 분석을위한 강력한 도구가 될 것입니다.