ホーム Enterprise Google、BigQuery と Dataflow のアップデートを通じてビッグデータに取り組む

Google、BigQuery と Dataflow のアップデートを通じてビッグデータに取り組む

by アダムアームストロング

データ管理ではビッグデータが頻繁に登場します。ビッグデータを活用すると、企業はあらゆる種類の洞察を得ることができ、それによって企業の効率性と収益性が高まります。唯一の問題は、リソース管理とシステム管理に関して、ビッグ データの使用が非常に困難な作業になる可能性があることです。 Google は、Google Cloud Platform と BigQuery のアップデートおよび Cloud Dataflow の導入により、「クラウド方式」でビッグデータに取り組む予定です。


データ管理ではビッグデータが頻繁に登場します。ビッグデータを活用すると、企業はあらゆる種類の洞察を得ることができ、それによって企業の効率性と収益性が高まります。唯一の問題は、リソース管理とシステム管理に関して、ビッグ データの使用が非常に困難な作業になる可能性があることです。 Google は、Google Cloud Platform の「クラウド方式」でビッグデータに取り組み、BigQuery を更新し、Cloud Dataflow を導入する予定です。

Google Cloud Platform は、顧客がクラウド方式のビッグ データを活用できるように、強力でスケーラブルで使いやすい一連のビッグ データ サービスを提供しています。 100,000 つ目は、信頼性の高いイベント時間ベースのストリーム処理を提供する Google Cloud Dataflow で、デフォルトで利用可能です。 XNUMX つ目は、典型的なクラウドネイティブの API 駆動型 SQL 分析サービスである Google の BigQuery のアップデートによるものです。これらの更新には、行レベルの権限を含むセキュリティおよびパフォーマンス機能が含まれており、デフォルトの取り込み制限は XNUMX テーブルあたり XNUMX 行/秒です。

Google のクラウドによるビッグ データの処理方法は、基盤となるインフラストラクチャを気にすることなく、ビッグ データについてより迅速かつ優れた洞察を得ることが目的です。これには次のものが含まれます。

  • NoOps: 「NoOps」とは、プラットフォームがユーザーに代わってそのようなタスクと最適化を処理し、ユーザーがデータの価値の理解と活用に集中できるようにすることを意味します。
  • 費用対効果: プラットフォームは自動スケーリングしてユーザーのインフラストラクチャ消費を最適化し、アイドル状態のクラスターなどの未使用のリソースを排除します。ユーザーは、コスト/メリット分析に基づいてクエリの数と処理の待ち時間をダイヤルアップまたはダイヤルダウンすることでコストを管理します。
  • 安全で簡単なコラボレーション: ユーザーは、コピーを作成したりデータベースへのアクセスを許可したりすることなく、Google Cloud Storage のファイルまたは Google BigQuery のテーブルのデータセットを組織内外のコラボレーターと共有できます。

Google は、BigQuery と Cloud Dataflow に加えて、Google Cloud Pub/Sub を使用してクラウド方式であるビッグ データを完成させます。 Pub/Sub を使用すると、ユーザーはリアルタイムで低遅延のデータ処理を処理できます。

利用状況

Google BigQuery はヨーロッパゾーンの Google Cloud Platform にデータを保存するオプションを備えて現在利用可能であり、Google Cloud Dataflow はベータ版で利用可能です。

Google ビッグクエリ

Google クラウド データフロー

この話を話し合う