콘텐츠
테이크 아웃 :
Kafka는 LinkedIn이 비즈니스 사람들을 위해하는 정보 시스템을 위해 할 것입니다.
아직 존재하지 않는 것을 열정적으로 믿으면서 만듭니다. 존재하지 않는 것은 우리가 충분히 원치 않는 것입니다.~ 프란츠 카프카
필요성은 발명의 어머니로 남아 있습니다. 한 컨설턴트는 "조직에서 일어날 일이 있으면 일어나고있다"고 말했다. 그의 요점은 두 가지였다. 1) 어떤 사람들은 항상 일을 끝내는 방법을 찾을 것이다. 그리고 2) 고위 경영진, 심지어 중간 경영진은 자신의 사업장 내에서 일이 어떻게 이루어지고 있는지 정확히 알지 못할 수도 있습니다.
이 은유를 전체 데이터 관리 영역으로 확장하면 지금 변화가 일어나고 있음을 알 수 있습니다. 스트리밍 데이터 축과 결합 된 빅 데이터의 원압은 레거시 시스템이 완전히 붕괴되지 않는 경우 가장자리에서 골절 할 정도로 많은 압력을 발생시킵니다. 그럼에도 불구하고,이 현실을 잘 모르는 수많은 전문가들이 지금이 순간 자신의 직업에 대해 가고 있습니다.
데이터 중심의 데이터 중심 엔터프라이즈는 앞줄이 있으며 여러 가지면에서 이러한 변화를 주도하고 있습니다. 야후!, 링크드 인과 같은 강대국이 어떻게 오픈 소스에 대한 막대한 기부를 통해 엔터프라이즈 소프트웨어 산업을 옆으로 돌 렸는지 고려해보십시오. Hadoop, Cassandra 및 현재 Kafka는 Apache Foundation에 의해 양도되었습니다. .
이 모든 변화의 결과는 무엇입니까? 오늘 목격 한 것은 데이터 관리 자체의 범주 적 재 분류 및 구조 조정입니다. 이것은 레거시 시스템이 이제 찢어지고 교체 될 것이라는 말은 아닙니다. 모든 업계 베테랑은 레거시 시스템의 도매 해산이 시카고 컵스가 월드 시리즈에서 우승 할 때마다 발생한다고 말합니다. 가장 드물게 말하는 것은 드문 사건입니다.
실제로 일어나고있는 것은 구식 시스템 주위에 수퍼 구조가 구축되고 있다는 것입니다. 종종 고속도로가 도시와 도시를 넘어서서 사람들과화물을이 인구 센터로 배달하고 모든 사람과 그 안의 어떤 곳으로도 나갈 수 있도록 설계된 고속도로의 비유를 고려하십시오. 기존 도로를 고속 도로로 보강하는 것만 큼 기존 도로를 대체하지는 않습니다.
바로 Apache Kafka가하는 일입니다. 정보 시스템 간의 데이터 이동을위한 고속 경로를 제공합니다. 고속도로 비유를 따르기 위해 여전히 선형 대기열 또는 오래된 표준 ETL (추출 변형 하중)을 사용하는 많은 회사가 있습니다. 그러나 이러한 경로는 속도 제한이 낮으며 많은 움푹 들어간 곳이 있습니다. 게다가, 유지 보수 비용은 종종 막대합니다. 간판이 좋지 않습니다.
Kafka는 실시간으로 확장 가능하며 내구성이 뛰어난 데이터를 전달하는 대체 방법을 제공합니다. 이는 Kafka가 데이터 이동 수단 일뿐만 아니라 데이터 복제기이기도 함을 의미합니다. 그리고 어느 정도 분산 데이터베이스 기술. Kafka가 아직 스포츠하지 않은 ACID 호환 데이터베이스의 특성이 있기 때문에 유추에 너무주의해야합니다. 여전히 변화는 실재합니다.
이것은 정보 환경에 대한 좋은 소식입니다. 이제 그 문제에 대해 데이터가 국가와 세계를 자유롭게 이동할 수 있기 때문입니다. 한때 고통스러운 제약, 즉 ETL 프로세스를위한 배치 창에 도달하는 것은 안개가 뜨거운 태양의 눈부심 아래에서 하늘을 깨끗하게하는 방법을 제공함에 따라 이제 사라지고 있습니다. 한 시스템에서 다른 시스템으로 데이터를 이동하면 경계선이 매끄럽게 변모하여 새로운 기회의 시대가 열렸습니다.
버그 없음, 스트레스 없음-인생을 파괴하지 않고 인생을 바꾸는 소프트웨어를 만드는 단계별 가이드
아무도 소프트웨어 품질에 신경 쓰지 않으면 프로그래밍 기술을 향상시킬 수 없습니다.
인류는 새로운 미래 데이터로가는 길에서 가장 큰 마찰을 나타낼 것입니다. 오래된 습관은 열심히 죽습니다. Nary a CIO는 엔터프라이즈 시스템을 도매로 변경하는 것에 너무 흥분합니다. 한 역할에 정통한 한 임원이 말했다. "외로울 준비를하세요." 그 의견의 1 년 안에, 그는 컨설턴트였습니다. 쉽지 않은 엔터프라이즈 데이터 세계를 관리하려고 노력하기는 쉽지 않습니다.
좋은 소식은 Kafka가 미래를 향한 발걸음을 제공한다는 것입니다. 고성능의 다목적 버스 역할을하기 때문에 레거시 시스템과 미래 지향적 인 시스템간에 브리지를 만듭니다. 따라서 열린 마음과 충분한 예산으로이 새로운 기회를 받아들이는 조직은 과거를 떠나지 않고도 새로운 세상으로 나아갈 수 있습니다. 정말 큰 문제입니다.
사업으로
Apache Kafka는 오픈 소스 기술로 누구나 무료로 다운로드하여 사용할 수 있지만 LinkedIn을 위해이 소프트웨어를 만든 사람들은 Confluent라는 별도의 엔티티를 분리하여 엔터프라이즈 용 오퍼링 강화에 중점을 둡니다. Cloudera와 마찬가지로 Hortonworks와 MapR은 Apache Hadoop의 오픈 소스 프로젝트를 중심으로 비즈니스를 구축했으며 Confluent는 Kafka를 통해 수익을 창출하려고합니다.
최근 InsideAnalysis 인터뷰에서 Confluent CEO와 공동 창립자 인 Jay Kreps는 LinkedIn에서 그 기원을 설명했습니다.
"우리는 몇 가지 다른 문제를 해결하려고 노력했습니다. 하나는 다른 종류의 데이터를 가진 이러한 모든 다른 데이터 시스템을 가지고있었습니다. 우리는 데이터베이스와 로그 파일을 가지고 있었고 서버에 대한 메트릭을 가지고 있었고 사용자가 물건을 클릭하도록했습니다. 데이터가 커짐에 따라 모든 데이터를 가져 오는 것은 정말 어려웠으며, 데이터, 응용 프로그램, 처리 또는 필요한 시스템에 데이터를 가져올 수있는 경우에만 데이터의 힘이있었습니다.
"우리가 가진 또 다른 문제는 하둡을 채택한 것이 었습니다. 그것은 제가 관여 한 것입니다. 우리는 확장 할 수 있고 모든 데이터를 넣을 수있는이 환상적인 오프라인 처리 플랫폼을 가지고있었습니다. LinkedIn의 모든 데이터는 실제로 발생했습니다. 데이터의 연속적인 생성이있었습니다. 데이터에서 비즈니스의 주요 부분을 실제로 구축하려고 시도했을 때 (하루에 한 번, 밤에 실행 된 항목과 다음 날의 결과 생성간에) 항상 이러한 불일치가있었습니다. 이런 종류의 지속적인 데이터-짧은 상호 작용 시간-당신이 따라야 만했습니다. 우리는 한동안 학계에서 있었던 일을 할 수 있기를 원했지만 실제로는 주류가 아니 었습니다. 데이터가 생성 된 상태가 아니라 생성 된 데이터 스트림을 활용하여 처리합니다. "
잘. Confluent는 이제 모든 모양과 크기의 엔터프라이즈 데이터와 관련이 있습니다. 놀이의 기회? 그린 필드. 솔직히, 엔터프라이즈 소프트웨어의 전체 역사에서,이 기술에 대한 다루기 쉬운 시장이 절대적으로 케이크를 취한다고 주장 할 수 있습니다. 이 기술의 혜택을 크게 누릴 수없는 하나의 대규모 조직이나 데이터가 많은 소규모 기업은 없습니다.
이것은이 기술의 신경 학적 측면 때문에 특히 그렇습니다. 관련된 마음뿐만 아니라 정보 시스템에 대한 카프카의 역할 Kafka는 조직 전체의 데이터 이동을 관리하는 데 사용될 수 있기 때문에 단순히 교통 경찰이 아니라 운영 자체의 두뇌로 볼 수 있습니다. 그 비전의 초기 단계에 있었지만 실제로는 안심하십시오.
Kafka가 데이터 관리를 변경하는 방법
Kafka가 데이터 관리의 본질을 어떻게 변화 시킬지 이해하려면 LinkedIn이 네트워킹을 어떻게 변화 시켰는지 생각해보십시오. 동료를 찾는 것이 훨씬 쉬워졌습니다. 사람들과 연락을 유지하는 것은 이제 간단합니다. 카프카는 LinkedIn이 비즈니스 사람들을 위해하는 정보 시스템을 위해 할 것입니다.
Confluent의 분사는 우리가 새로운 혁신이라고 부르는 것을 상징합니다. 소프트웨어 개발과 폐쇄 소스 사고의 분리에 의해 주도되는 운동, 오픈 소스 기술의 제작자에 의해 주도되고, 대량의 벤처 캐피탈에 의해 연료가 공급되는 조직과 사람들이 데이터를 생성, 수집, 분석 및 활용하는 방법을 혁신하려는 영리 기업.
프란츠 카프카 (Franz Kafka)는 "어떤 시점부터는 더 이상 되돌릴 필요가 없습니다. 그 시점에 도달해야합니다."
우리는 Rubicon을 통과했습니다. 다시 돌이킬 수 없습니다.