首頁 Enterprise 谷歌通過更新 BigQuery 和 Dataflow 處理大數據

谷歌通過更新 BigQuery 和 Dataflow 處理大數據

by 亞當·阿姆斯特朗

大數據經常出現在數據管理中。 利用大數據可以引導企業獲得各種見解,從而提高效率和盈利能力。 唯一的問題是,在資源管理和系統管理方面,使用大數據可能是一項艱鉅的任務。 谷歌計劃通過谷歌云平台以“雲方式”處理大數據,並更新其 BigQuery 並引入雲數據流。


大數據經常出現在數據管理中。 利用大數據可以引導企業獲得各種見解,從而提高效率和盈利能力。 唯一的問題是,在資源管理和系統管理方面,使用大數據可能是一項艱鉅的任務。 谷歌計劃通過谷歌云平台以“雲方式”處理大數據,並更新其 BigQuery 並引入雲數據流。

Google Cloud Platform 提供了一組功能強大、可擴展且易於使用的大數據服務,因此客戶可以通過雲方式擁抱大數據。 第一個是谷歌云數據流,它提供可靠的、基於事件時間的流處理,默認情況下可用。 第二個是通過更新 Google 的 BigQuery,這是用於 SQL 分析的典型的雲原生 API 驅動服務。 這些更新包括安全和性能功能,包括行級權限,現在默認攝取限制為 100,000 行/秒/表。

谷歌處理大數據的雲方式旨在更快更好地洞察大數據,而無需擔心底層基礎設施。 這包括:

  • NoOps:“NoOps”是指平台為用戶處理此類任務和優化,讓他們騰出時間專注於理解和利用數據中的價值。
  • 成本效益:平台自動擴展和優化用戶的基礎設施消耗,並消除閒置集群等未使用的資源。 用戶通過根據成本/收益分析調高或調低查詢數量和處理延遲來管理成本。
  • 安全且輕鬆的協作:用戶可以與組織內外的協作者共享 Google Cloud Storage 中的文件或 Google BigQuery 中的表中的數據集,而無需製作副本或授予數據庫訪問權限。

與 BigQuery 和 Cloud Dataflow 一起,Google 完善了其大數據,即 Google Cloud Pub/Sub 的雲方式。 Pub/Sub 允許用戶以低延遲實時處理數據。

可用性

Google BigQuery 現在可用,可以選擇在歐洲區域的 Google Cloud Platforms 中存儲數據,並且 Google Cloud Dataflow 處於測試階段。

谷歌大查詢

谷歌云數據流

討論這個故事