DoubleCloud: データ分析インフラストラクチャを1日で構築

DoubleCloudは、完全に管理された、メンテナンス不要のオープンソースソリューションを提供することで、データパイプラインを効率化するように設計されたプラットフォームでした。このプラットフォームは、データ取り込みからリアルタイムの可視化まで、すべてを統合することで、時間とコストを節約することを目的としていました。DoubleCloudは事業を終了しましたが、その機能は最新のデータ分析インフラストラクチャに対する貴重な洞察を提供します。

DoubleCloudとは？ DoubleCloudは、データ分析ソリューションの作成と保守を簡素化するために設計された、管理されたオープンソースサービスとツールのスイートを提供しました。これにより、ユーザーはインフラストラクチャ自体を管理するオーバーヘッドなしに、オープンソーステクノロジーを活用できました。

DoubleCloudの仕組みは？ このプラットフォームは、いくつかの主要なコンポーネントを提供しました。

オープンソースサービス: Amazon Web Services（AWS）またはGoogle Cloud Platform（GCP）上のClickHouse、Kafka、およびAirflowのマネージドサービス。
データ統合エンジン: システム間のリアルタイムデータ同期のための、ノーコードELT（抽出、ロード、変換）ツール。
リアルタイム可視化: チャートとダッシュボードを構築するための、マネージドオープンソースデータ可視化ツール。

主な機能と利点:

フルマネージドサービス: DoubleCloudは、ソフトウェアアップデート、シャーディング、バックアップ、自動スケーリングなどのルーチンメンテナンスタスクを処理しました。
卓越したパフォーマンス: ClickHouse上に構築されたこのプラットフォームは、主要なDBMSよりも最大100倍高速なクエリ速度でリアルタイム分析を可能にしました。
開発者エクスペリエンス: 機能には、TerraformまたはAPIを使用した自動デプロイメント、Prometheusを介したメトリクスのエクスポート、ログの統合、WebベースのSQL IDE、およびdbtを使用した組み込みのデータ変換が含まれます。
セキュリティ: TLS 1.2+暗号化の強制、ソフトウェア配信専用のVM、およびISO 27001、SOC 2、GDPR、およびその他の業界標準への準拠。
費用対効果: 従量課金制の価格設定、BYOC（Bring Your Own Cloud）オプション、S3ハイブリッドストレージ、および自動バックアップやクロスAZトラフィックなどの無料サービス。

使用事例:

DoubleCloudは、次のようなさまざまな使用事例に対応していました。

リアルタイムスポーツ分析: LSportsは、DoubleCloudとClickHouseを使用してクエリ速度を180倍向上させました。
ログとメトリクス: Neonは、新しいサブスクリプションプランのリソース消費メトリクスの粒度を高めました。
エンドユーザー分析: Yango Techは、わずか1週間でパートナー向けの分析を開始しました。
モニタリング: Honeybadgerは、Elasticsearchから移行してパフォーマンスを向上させ、新しいヘルスアプリモニタリングサービスを開始しました。

DoubleCloudが重要だった理由: DoubleCloudは、オープンソーステクノロジーのデプロイメントと管理を簡素化することで、強力なデータ分析ツールへのアクセスを民主化することを目的としていました。これにより、企業はインフラストラクチャのメンテナンスではなく、製品開発に集中できました。

主要なテクノロジー:

ClickHouse: 大規模なデータセットのクエリにおける速度と効率で知られる、オープンソースのOLAP（オンライン分析処理）データベース。ClickHouseは、リアルタイム分析を提供するというDoubleCloudの約束の中核です。
Apache Kafka: リアルタイムデータパイプラインとストリーミングアプリケーションを構築するために使用される、分散イベントストリーミングプラットフォーム。
Apache Airflow: データパイプラインの作成、スケジューリング、およびモニタリングのためのワークフロー管理プラットフォーム。

DoubleCloudの使用方法（使用されていた）：

サインアップして、無料のクレジットを取得します。
クラウドプロバイダー、リージョン、および必要なリソースを選択します。
データをリアルタイムでClickHouseに転送します。
卓越したパフォーマンスと速度をお楽しみください。

結論:

DoubleCloudはもはや稼働していませんが、マネージドオープンソースサービスがデータ分析インフラストラクチャをどのように簡素化できるかを例示しました。パフォーマンス、開発者エクスペリエンス、セキュリティ、および費用対効果に重点を置くことで、データの力を活用したい企業にとって魅力的なソリューションを提供しました。