콘텐츠
출처 : Nmedia /Dreamstime.com
테이크 아웃 :
빅 데이터는 어느 곳에서나 대기업이지만이 기술을 가장 많이 활용하는 몇 가지 특정 영역입니다.
이 기사를 시작할 때 다양한 유형의 빅 데이터 플랫폼을 나열 할 계획이었습니다. 그러나 관계형 대 비 관계형, SQL 대 NoSQL 및 데이터베이스 대 프레임 워크와 같은 모든 다른 빅 데이터 오퍼링을 상관 관계가있는 것처럼 3 일 동안 시도한 후, 그 혼란을 피하기로 결정했습니다.
부상에 대한 모욕을 더하기 위해 기사의 일부로 "빅 데이터"라는 용어를 만든 사람을 소개하고 싶었습니다. 그러나 나는 그렇게 할 수 없습니다. 합의 된 답변이 없습니다. 실제로 누가 빅 데이터를 처음 고안했는지에 대한 본격적인 연구 프로젝트가 있습니다. 대신 빅 데이터가 사용되는 주요 방법 중 일부를 살펴 보겠습니다. 훨씬 더 중요합니다. 그리고 당신이 생각하는 것보다 더 흥미롭고 놀라운 것입니다.
어떻게 일이
전통적인 데이터 마이닝을 사용하는 분석가들은 수년간 데이터를 조작 해 왔습니다. 이와 동일한 분석가들은 이제 비즈니스, 개인 조직 및 정부 기관이 저장하는 데이터의 양과 다양성에 대처하기가 어렵다는 것을 알게되었습니다.
데이터 마이닝의 다음 진화 단계 인 빅 데이터를 입력하십시오. 빅 데이터는 오늘날의 디지털 세계에서 생성되는 방대한 데이터베이스 및 무수한 유형의 데이터를 처리하도록 설계되었습니다. "대규모"로 Google과 Google이 수집하는 모든 데이터에 대해 생각한다면 야구장에있을 것입니다. 놀랍게도 Google은 세계 최대 데이터베이스 중 상위 10 위에 올랐습니다. 2014 년 1 월 현재 세계 기후 데이터 센터 (World Data Center for Climate)는 220 테라 바이트의 데이터로 1 위를 차지했으며 특정 정부 기관이 관리하는 데이터베이스의 크기에 대해서는 누구나 추측 할 수 있습니다.
물론 빅 데이터는 방대한 양의 이기종 데이터를 조작하고 놀랍고도 놀랍도록 상세하고 개인적인 것을 발견 할 수있게했기 때문에 시작되었습니다. HR 산업 분석가 인 John Sumser는 다음 예제를 제공합니다.
"오늘 우리는 가설을 만들고 데이터를 수집합니다. 내일 우리는 반대를 할 것입니다. 지속적이고 꾸준한 데이터의 축적은 우리가 질문을하기 전에 데이터를 볼 수있게 해 줄 것입니다." 우리는 사실이라고 생각하는 많은 것들을 생각하지 않을 것입니다. "물론, 우리는이 데이터가 사용 된 소름 끼치는 방법 중 일부에 대해 들었습니다. 예를 들어, 가족이 발견하기 전에 젊은 여성의 임신을 분별할 수있는 능력. 그러나 빅 데이터는 또한 훨씬 덜 불길한 원인으로 사용되고 있습니다. 가장 활용하고있는 조직은 다음과 같습니다.
아무도 소프트웨어 품질에 신경 쓰지 않으면 프로그래밍 기술을 향상시킬 수 없습니다.
빅 데이터가 도움이 될 수있는 분명한 영역 중 하나는 의료 기관에서 전자 건강 기록을 안전하고 정확하게 처리하는 것입니다. 정확한 기록이 있으면 환자에게 더 나은 서비스를 제공하고 오류를 줄일 수 있습니다. 명백한 이유로 보건 의료 분야는 환자 기밀성에 관한 정부 규정을 준수하기 위해 느린 속도로 빅 데이터를 채택하고 있습니다.
앞에서 언급 한 바와 같이, 빅 데이터는 질문없는 질문에 대한 답변을 제공하는 것으로 알려져 있습니다. 건강 관리 분야에서 이는 다른 방법으로는 발견되지 않은 새로운 약물이나 치료법을 찾는 것을 의미 할 수 있습니다. 맥킨지 앤 컴퍼니 (McKinsey & Company)에 따르면 빅 데이터는 그리 멀지 않은 미래에 다음을 가능하게 할 수있다.
- 생물학적 과정과 약물의 예측 모델링은 더욱 정교 해지고 널리 퍼지게됩니다.
- 환자는 소셜 미디어와 같은 더 많은 정보 소스를 기반으로 임상 시험에 등록하는 것으로 식별됩니다.
- 안전 또는 운영 문제를 신속하게 식별하기 위해 평가판을 실시간으로 모니터링합니다.
- 악용하기 어려운 엄격한 데이터 사일로 대신 데이터가 전자적으로 캡처되어 다른 장치간에 쉽게 흐릅니다.
빅 데이터, 큰 기회
일부 특정 영역에서 빅 데이터를 활용하고 있지만 다음 영역의 모든 조직에 기회를 제공합니다.
거의 모든 컴퓨팅 및 네트워킹 장치가 데이터를 기록합니다. 빠르게 기록되는 데이터의 양이 다루기 어려워집니다. 빅 데이터는 이러한 양의 데이터를 쉽게 관리 할 수 있으므로 관리자가 네트워크 활동을 모니터링하거나 문제를 진단하거나 Rubin이 제공 한 예에서 맬웨어 활동을 나타내는 특정 네트워크 트래픽 패턴을 찾을 수 있습니다.
이 기사를 읽고 있다면 OpenSSL과 관련된 Heartbleed 문제를 알고 있다는 것이 안전합니다. 기술적 인 문제 외에도 취약점이 몇 년 동안 존재 해 왔다는 우려가 있습니다. Rubin은 빅 데이터를 통해 데이터 분석가와 함께 작업하는 네트워크 관리자가 모든 네트워크 로그에서 악성 하트 비트를 검색하는 프로그램을 만들 수 있다고 언급했습니다. 이 EFF 게시물은 다음을 언급합니다.
"대규모의 패킷 로그를 가진 모든 네트워크 운영자는 18 03 02 00 03 01 또는 18 03 01 00 03 01 (또는 아마도 18 03 03 00 03 01)의 TCP 페이로드를 갖는 악의적 인 하트 비트를 확인할 수 있습니다."다음 예제는 show audit 명령의 샘플 출력입니다.
라우터 # 쇼 감사
* 9 월 14 일 18 : 37 : 31.535 : % AUDIT-1-RUN_VERSION : 해시 :
24D98B13B87D106E7E6A7E5D1B3CE0AD 사용자 :
* 9 월 14 일 18 : 37 : 31.583 : % AUDIT-1-RUN_CONFIG : 해시 :
4AC2D776AA6FCA8FD7653CEB8969B695 사용자 :
* 9 월 14 일 18 : 37 : 31.595 : % AUDIT-1-STARTUP_CONFIG : 해시 :
95DD497B1BB61AB33A629124CBFEC0FC 사용자 :
* Sep 14 18 : 37 : 32.107 : % AUDIT-1-FILESYSTEM : 해시 :
330E7111F2B526F0B850C24ED5774EDE 사용자 :
* 9 월 14 일 18 : 37 : 32.107 : % AUDIT-1-HARDWARE_CONFIG : 해시 :
32F66463DDA802CC9171AF6386663D20 사용자 :
타임 스탬프를 따르는 경우 모든 해당 항목의 시간 간격이 1 초 미만이었습니다. 나는 2 년을 제외하고 하루를 외삽하고 싶지도 않습니다!
볼거리
구인 광고를 확인하면 빅 데이터 전문가가 절실히 필요합니다. 나는 Rubin에게 이것에 대해 물었다. 그는 학생들이 자신의 전망에 대해 흥분한다고 언급하면서 동의했습니다. 그런 다음 빅 데이터 플랫폼, 특히 오픈 소스로 간주되는 플랫폼은 Linux가 주류가 된 방식과 매우 유사한 타임 라인을 따르고 있음을 깨달았습니다.
대학은 오픈 소스 버전의 빅 데이터 플랫폼, 특히 하둡을 수용합니다. 무료이기 때문에 학생들은 소스 코드를 조작 할 수 있기 때문입니다. 따라서 모든 일자리를 채우는 졸업생들은 자신이 가장 잘 알고있는 오픈 소스 플랫폼으로 작업하는 것을 선호 할 것입니다. 보는 것이 재미있을 것입니다.