홈페이지 Enterprise Google은 BigQuery 및 Dataflow 업데이트를 통해 빅 데이터를 처리합니다.

Google은 BigQuery 및 Dataflow 업데이트를 통해 빅 데이터를 처리합니다.

by 아담 암스트롱

빅데이터는 데이터 관리에서 자주 등장합니다. 빅 데이터를 활용하면 비즈니스를 보다 효율적이고 수익성 있게 만들 수 있는 모든 종류의 통찰력을 얻을 수 있습니다. 유일한 문제는 빅 데이터를 사용하는 것이 리소스 관리 및 시스템 관리와 ​​관련하여 상당히 힘든 일이 될 수 있다는 것입니다. Google은 Google Cloud Platform과 BigQuery 업데이트 및 Cloud Dataflow 도입을 통해 빅 데이터를 "클라우드 방식"으로 다룰 계획입니다.


빅데이터는 데이터 관리에서 자주 등장합니다. 빅 데이터를 활용하면 비즈니스를 보다 효율적이고 수익성 있게 만들 수 있는 모든 종류의 통찰력을 얻을 수 있습니다. 유일한 문제는 빅 데이터를 사용하는 것이 리소스 관리 및 시스템 관리와 ​​관련하여 상당히 힘든 일이 될 수 있다는 것입니다. Google은 Google Cloud Platform과 BigQuery 업데이트 및 Cloud Dataflow 도입을 통해 빅 데이터를 "클라우드 방식"으로 다룰 계획입니다.

Google Cloud Platform은 고객이 클라우드 방식으로 빅 데이터를 수용할 수 있도록 강력하고 확장 가능하며 사용하기 쉬운 일련의 빅 데이터 서비스를 제공합니다. 그 중 첫 번째는 기본적으로 사용 가능한 안정적인 이벤트 시간 기반 스트림 처리를 제공하는 Google Cloud Dataflow입니다. 두 번째는 SQL 분석을 위한 전형적인 클라우드 네이티브 API 기반 서비스인 Google의 BigQuery 업데이트를 통한 것입니다. 이러한 업데이트에는 행 수준 권한을 비롯한 보안 및 성능 기능이 포함되며 이제 기본 수집 제한은 100,000행/초/테이블입니다.

빅 데이터를 처리하는 Google의 클라우드 방식은 기본 인프라에 대한 걱정 없이 빅 데이터에 대한 더 빠르고 더 나은 통찰력을 얻는 것을 목표로 합니다. 여기에는 다음이 포함됩니다.

  • NoOps: "NoOps"는 플랫폼이 사용자를 위해 이러한 작업과 최적화를 처리하여 데이터의 가치를 이해하고 활용하는 데 집중할 수 있음을 의미합니다.
  • 비용 효율성: 플랫폼은 사용자의 인프라 소비를 자동 확장 및 최적화하고 유휴 클러스터와 같은 사용하지 않는 리소스를 제거합니다. 사용자는 비용/혜택 분석을 기반으로 쿼리 수와 처리 대기 시간을 늘리거나 줄여서 비용을 관리합니다.
  • 안전하고 쉬운 공동 작업: 사용자는 복사본을 만들거나 데이터베이스 액세스 권한을 부여할 필요 없이 조직 내부 또는 외부의 공동 작업자와 Google Cloud Storage의 파일 또는 Google BigQuery의 테이블에서 데이터 세트를 공유할 수 있습니다.

BigQuery 및 Cloud Dataflow와 함께 Google은 Google Cloud Pub/Sub를 통해 클라우드 방식인 빅 데이터를 완성합니다. Pub/Sub를 통해 사용자는 지연 시간이 짧은 실시간으로 데이터 처리를 처리할 수 있습니다.

유효성

현재 유럽 지역의 Google Cloud Platform에 데이터를 저장하는 옵션과 함께 Google BigQuery를 사용할 수 있으며 Google Cloud Dataflow는 베타 버전으로 사용할 수 있습니다.

구글 빅쿼리

구글 클라우드 데이터플로우

이 이야기에 대해 토론하기