콘텐츠
출처 : Pop Nukoonrat / Dreamstime.com
테이크 아웃 :
데이터는 비즈니스에 중요하지만, 유용하게 사용하려면 데이터를 수집, 처리 및 표시하는 데 오류가 없어야합니다. 인공 지능은 ETL 프로세스를 모니터링하여 오류가 없는지 확인할 수 있습니다.
ETL (추출, 변환 및로드)은 빅 데이터 분석에서 가장 중요한 프로세스 중 하나이며 동시에 가장 큰 병목 현상 중 하나 일 수 있습니다. (빅 데이터에 대한 자세한 내용은 온라인으로 취할 수있는 5 가지 유용한 빅 데이터 코스를 확인하십시오.)
ETL이 중요한 이유는 비즈니스가 수집하는 대부분의 데이터가 분석 솔루션을 소화 할 준비가되어 있지 않기 때문입니다. 분석 솔루션이 통찰력을 창출하려면 원시 데이터를 현재 상주하는 응용 프로그램에서 추출하여 분석 프로그램이 읽을 수있는 형식으로 변환 한 다음 분석 프로그램 자체에로드해야합니다.
이 과정은 요리와 유사합니다. 원재료는 원재료입니다. 분석 (맛보기)하기 전에 추출 (상점에서 구매), 변환 (요리) 및로드 (도금)가 필요합니다. 어려움과 비용은 예측할 수 없을 정도로 확장 될 수 있습니다. mac n '치즈를 직접 만드는 것은 쉽지만, 디너 파티에서 40 명을위한 미식가 메뉴를 만드는 것은 훨씬 더 어렵습니다. 말할 것도없이, 실수는 식사를 소화 할 수 없게 만들 수 있습니다.
ETL, 분석에 병목 현상 발생
ETL은 어떤 식 으로든 분석 프로세스의 기반이되지만 단점도 있습니다. 우선, 느리고 계산 비용이 많이 듭니다. 즉, 비즈니스는 종종 분석에 가장 중요한 데이터의 우선 순위를 정하고 나머지는 간단히 저장합니다. 이는 모든 비즈니스 데이터의 최대 99 %가 분석 목적으로 사용되지 않는다는 사실에 기여합니다.
또한 ETL 프로세스는 확실하지 않습니다. ETL 프로세스 내의 오류는 데이터를 손상시킬 수 있습니다. 예를 들어 짧은 네트워크 오류로 인해 데이터가 추출되지 않을 수 있습니다. 소스 데이터에 여러 파일 유형이 포함 된 경우 파일 형식이 잘못 변환 될 수 있습니다. ETL 프로세스 중 오류는 부정확 한 분석 측면에서 거의 확실하게 자신을 표현합니다.
손상된 ETL 프로세스는 나쁜 결과를 초래할 수 있습니다. 최상의 경우에도 ETL을 다시 실행해야하는데 이는 시간 지연을 의미하며, 의사 결정자들은 참을성이 없습니다. 최악의 시나리오에서는 돈과 고객을 잃기 시작할 때까지 부정확 한 분석을 알 수 없습니다.
기계 학습 및 AI로 ETL 간소화
누군가에게 ETL을 모니터링하도록 할당 할 수는 있지만 실제로 그렇게 간단하지는 않습니다. 잘못된 데이터는 너무 빨리 발생하여 실시간으로 확인할 수없는 프로세스 오류로 인해 발생할 수 있습니다. 손상된 ETL 프로세스의 결과는 종종 올바르게로드 된 데이터와 다르지 않습니다. 오류가 분명하더라도 오류를 일으킨 문제를 추적하기가 쉽지 않을 수 있습니다. 데이터 분석에 대한 자세한 내용은 작업 역할 : 데이터 분석가를 참조하십시오.
좋은 소식은 기계가 인간이 할 수없는 것을 포착 할 수 있다는 것입니다. AI와 머신 러닝이 부정확 한 분석으로 바뀌기 전에 ETL 오류를 포착 할 수있는 몇 가지 방법 일뿐입니다.
버그 없음, 스트레스 없음-인생을 파괴하지 않고 인생을 바꾸는 소프트웨어를 만드는 단계별 가이드
아무도 소프트웨어 품질에 신경 쓰지 않으면 프로그래밍 기술을 향상시킬 수 없습니다.
1. ETL 지표 간 감지 및 경보
데이터가 끊임없이 움직이는 그림이더라도 ETL 프로세스는 여전히 일관된 속도로 일관된 값을 생성해야합니다. 이런 것들이 바뀌면 알람의 원인이됩니다. 인간은 데이터에서 큰 변화를보고 오류를 인식 할 수 있지만 머신 러닝은 미묘한 결함을 더 빨리 인식 할 수 있습니다. 머신 러닝 시스템은 실시간 이상 탐지를 제공하고 IT 부서에 직접 경고하여 시간을 낭비하지 않고 프로세스를 일시 중지하고 문제를 해결할 수 있습니다.
2. 정확한 병목 현상
결과가 정확하더라도 사용하기에는 너무 느리게 나올 수 있습니다. 가트너는 말한다 통찰력의 80 % 분석에서 파생 된 것은 금전적 가치를 창출하는 데 절대 활용되지 않으며, 이는 비즈니스 리더가이를 활용하는 데 필요한 통찰력을 볼 수 없기 때문일 수 있습니다. 머신 러닝은 시스템 속도 저하 위치를 알려주고 더 나은 데이터를 더 빨리 얻을 수 있도록 해답을 제공합니다.
3. 변경 관리의 영향을 수량화
데이터 및 분석을 생성하는 시스템은 정적이 아니며 패치 및 업그레이드를 지속적으로받습니다. 때로는 데이터를 생성하거나 해석하는 방식에 영향을 미쳐 결과가 부정확합니다. 머신 러닝은 변경된 결과를 표시하고 패치 된 특정 머신이나 응용 프로그램으로 추적 할 수 있습니다.
4. 운영 비용 절감
중단 된 분석 작업은 손실 된 비용과 같습니다. 문제를 해결하는 방법뿐만 아니라 누가 책임지고 문제를 해결하기 위해 건물 가치를 소비 할 수있는 시간입니다. 머신 러닝은 특정 종류의 사고에 대응할 책임이있는 팀에게만 경고함으로써 IT 부서의 나머지 부서가 핵심 직무를 계속 수행 할 수 있도록함으로써 문제의 핵심을 파악하는 데 도움을줍니다. 또한 머신 러닝은 오 탐지를 제거하여 전체 경보 수를 줄이면서 제공 할 수있는 정보의 세분성을 높입니다. 경고 피로는 매우 실제적이므로 이러한 변화는 삶의 질에 상당한 영향을 미칩니다.
비즈니스에서 승리하려면 분석이 중요합니다. 베인 캐피탈 (Bain Capital)의 획기적인 연구에 따르면 분석을 사용하는 회사는 재무 적으로 성능을 능가 할 가능성이 두 배 이상 높습니다. ETL은이 분야에서 성공을위한 토대를 제공하지만 지연 및 오류로 인해 분석 프로그램의 성공을 막을 수도 있습니다. 따라서 머신 러닝은 모든 분석 프로그램의 성공을위한 소중한 도구가되어 깨끗한 데이터와 정확한 결과를 보장합니다.