웹 크롤러

콘텐츠

• 정의-웹 크롤러 란 무엇입니까?
• Microsoft Azure 및 Microsoft 클라우드 소개 | 이 가이드를 통해 클라우드 컴퓨팅에 관한 모든 내용과 클라우드에서 비즈니스를 마이그레이션하고 운영하는 데 Microsoft Azure가 어떻게 도움이되는지 알아 봅니다.
• Techopedia는 웹 크롤러를 설명합니다

정의-웹 크롤러 란 무엇입니까?

웹 크롤러는 웹 인덱싱을 돕는 인터넷 봇입니다. 모든 페이지의 색인이 생성 될 때까지 웹 사이트를 통해 한 번에 한 페이지 씩 크롤링합니다. 웹 크롤러는 웹 사이트 및 관련 링크에 대한 정보를 수집하고 HTML 코드 및 하이퍼 링크를 확인하는 데 도움을줍니다.

웹 크롤러는 웹 스파이더, 자동 인덱서 또는 간단히 크롤러라고도합니다.

Microsoft Azure 및 Microsoft 클라우드 소개 | 이 가이드를 통해 클라우드 컴퓨팅에 관한 모든 내용과 클라우드에서 비즈니스를 마이그레이션하고 운영하는 데 Microsoft Azure가 어떻게 도움이되는지 알아 봅니다.

Techopedia는 웹 크롤러를 설명합니다

웹 크롤러는 웹 사이트의 URL, 메타 태그 정보, 웹 페이지 컨텐츠, 웹 페이지의 링크 및 해당 링크로 이어지는 목적지, 웹 페이지 제목 및 기타 관련 정보와 같은 정보를 수집합니다. 동일한 페이지를 다시 다운로드하지 않도록 이미 다운로드 한 URL을 추적합니다. 재 방문 정책, 선택 정책, 병렬화 정책 및 공손 정책과 같은 정책의 조합에 따라 웹 크롤러의 동작이 결정됩니다. 웹 크롤러에게는 계속해서 진화하는 월드 와이드 웹, 콘텐츠 선택 타협, 사회적 의무 및 적대자를 다루는 많은 도전이 있습니다.

웹 크롤러는 웹 페이지를 보는 웹 검색 엔진 및 시스템의 주요 구성 요소입니다. 웹 항목을 색인화하는 데 도움이되며 사용자가 색인에 대해 조회하고 조회와 일치하는 웹 페이지를 제공 할 수 있습니다. 웹 크롤러의 또 다른 사용은 웹 보관에 있으며, 여기에는 정기적으로 수집 및 보관할 많은 웹 페이지 집합이 포함됩니다. 웹 크롤러는 데이터 마이닝에도 사용되며, 여기서 페이지는 통계와 같은 다른 속성에 대해 분석 된 후 데이터 분석이 수행됩니다.