こんにちは、アイダです。
だんだん暖かくなってきましたね。今回取り上げるSnowflakeと同じ名前の花、スノーフレークはちょうど今頃3月～5月に花を咲かせるそうです。 寒い冬を越えて様々な花が咲く季節、散歩をしながら春を感じるのもいいかもしれません♪
さて、今回はAI・DX推進部のYさんより、昨年10月から今年の2月にかけて実施された、Snowflake社主催の「SnowCamp」についてお送りします。 当社には「Snowflakeの技術者」が多数存在しますが、今後さらなるデータ活用人材の育成を見越し、Snowflake社のミッションやビジョンを把握すべく「SnowCamp」に参加しました。
「データクラウドの価値を真に理解いただくSnowflakeのお客様をご招待する特別企画」ということで、実際にどのようなものだったのか、いくつか具体的な内容を踏まえながら報告してもらいます。
それでは、Yさん、どうぞ！！
これまでのSnowflakeに関する記事はこちら
→ https://www.intage-ts.com/archive/category/Snowflake
はじめに
SnowCampとは？
SnowCampについて、Snowflake社の資料を引用すると、
コース概要
- Snowflakeの持つ機能をアーキテクチャの仕組みから理解
- 既存のデータ処理（ワークロード）をより効率的に運用いただくヒントを提供
- 今後の更なるデータ利活用方法について考える機会の提供
- 同様にSnowflakeを使用してデータドリブンを目指す参加者同士の強力なネットワーキング
受講対象者
- Snowflakeをご利用いただいているお客様で、原則1社1名
- データ基盤の構築についてある程度知識があり、かつ現場部門等でデータがどのように利活用されるか理解している方
上記日程を終了した後、
- 2022/01/31 までにパブリックまたは社内で別途定めた活動を3つ以上行うこと
- 2022/02/28 までに参加を承認した上長との卒業報告会を実施
を行うことで「Data Polaris」 に認定されるという企画でした。
参加者全員での意見交換やディスカッションを中心に、Snowflakeの理解を深めました。また、毎回熱い議論が繰り広げられ、とても有意義な時間を過ごすことができたと感じています。
これから、5回、10回と続いていく企画だと思いますので、ここでは1回目の様子を簡単にご紹介できればと思います！
Day1
Day1は「基礎固め」の1日でした。 最初に、Snowflake社が掲げるミッションやビジョンの共有、同社が目指す「データクラウド」の世界を学びました。
※モビライズする（集結する、結集する、動員する）
「世界中のデータをモビライズする」という壮大すぎるミッションを聞いた時、最初のうちは正直なところ「無理だろう」と思ってしまう自分もいましたが、講師のKTさんの熱い説明を聞いてるうちに「素晴らしい世界観で、十分に実現可能なんだ」と認識することができました。超えるべきハードルはとてもとても高いですが、こんなミッションを掲げられる会社って素直に素敵だなと思います。
実際に、Snowflake社が実現している「モビライズ」の現状についても、スライドで紹介して頂きました。この線の1つ1つが各企業間でのデータの繋がりになります。この1年で爆発的に増えたそうです。このままいくと、じきにこの線が見えないほどの繋がりが構築されるような気がしますよね。
そして、具体的なSnowflakeのアーキテクチャについても学びました。
Day1は、プラットフォームの全体像と、Snowflakeの6ワークロードのうち「データウェアハウス（ハウジング）」です。
伸縮性のある高性能エンジン
Snowflakeのアーキテクチャは、クラウドサービス、コンピュート、ストレージの各レイヤーが完全に分離しているのが特徴です。 特にコンピュートレイヤーとストレージレイヤーが分離していることでスケールアウトが容易になり、ペタバイト級のデータの保持や、複数ワークロードを同時に実行した場合にも、お互いに干渉し合わないような作りになっています。 また、あらゆるユーザーやスキルセットにも対応しており、SQLの使いやすさ、JavaやScalaなどに対応する柔軟性も兼ね備えています。拡張機能として外部のツールを直接実行することもできます。
インテリジェントなインフラストラクチャー
基本的に、Snowflakeは管理不要です。 一般的なデータウェアハウスであれば、インデックスやパーティションなどのチューニングや、統計情報の更新やVACUUMなど、多くの管理コストがかかります。Snowflakeにはこれらの運用が殆ど存在しません。 Snowflakeが自動で判断してくれます。これによって管理者はより上位のタスクに集中することができます。また、全てのデータコストも最適化されます。
SNOWGRID
Snowflakeは、AWS、GCP、Azureでサービスが提供されているマルチクラウド型のサービスです。 クラウドベンダやリージョンをまたぐ独自の接続性によって、特定のクラウドベンダで障害が発生した際にも柔軟に対応することが可能です。 また、異なるクラウドベンダ間でのデータシェアも容易に行うことができ、サードパーティデータによるインサイトを充実させることができます。
Day2
Day2は、Snowflakeの6ワークロードのうち「データエンジニアリング」と「データレイク」について学びました。また、Snowflakeのコスト最適化についても、具体的な実験結果の説明がありました。
グループディスカッションでは「自分の考える最強のデータプラットフォーム」と題して、意見交換を行いました。 各社の業務＆データフローを紹介し、意見を出し合うような形で進めました。実現の可能性はさておき、妄想全開のデータプラットフォーム案がどんどん出てきてとても面白かったです。 でも、妄想できるということは、きっと実現できるということなんですよねー。
また、Day2では「リアルタイムの重要性」という議題にも触れました。
意思決定にリアルタイム分析は必要か？
→ ボールが飛んできたときに、1分後に避ける人はいるか？（いない、すぐ避ける）
→ 鏡を見て、髪の毛を整えられるのはなぜ？（鏡がリアルタイムに実態を映してくれるから）
昨今のデータ分析スピードは飛躍的に上がってきましたが、リアルタイム分析というところまで到達しているのはごくわずかだと思います。 これからのデータ分析は、この「リアルタイム」というのがポイントになるんだと、強く実感しました。
Day3
Day3は、Snowflakeの6ワークロードのうち「データサイエンス」「データアプリケーション」「データシェアリング」について学びました。
グループディスカッションでは「参加者全員の会社のデータを掛け合わせるとどんなことができるのか？」という新しいビジネスを創出する禁断のお題でした！
データをかけ合わせたらどんなインサイト、またはビジネスを創出できるか？インサイトを元に、顧客のどんな課題が浮かび上がるか？その課題を解決するのに自社の強みがどう役立つか？など 、新たなビジネス、サービス、アプリケーションのアイディアを膨らませていきました。
私たちのチームでは、
- DM、ポスティングなどのオフラインマーケティングの精度向上
- 運送業界向けのドライバー需要予測
という、個人では思いつかないような新しいデータの利用方法を検討することができ、とても有意義でした。
Day4
Day4は、下記お題に対する「プレゼン」でした。
あなたが考える 「To mobilize the world’s data（世界のデータをモビライズする）」 を実現した世界とはどんな世界か？
- 世界中のデータがモビライズされたらどんな世界になるか？
- 現在〜未来の自社のシステム構成を紹介
- Snowflakeの6ワークロードをどう活用するか？
- どんな外部データがあったら自社のビジネス価値をあげることができるか？
恥ずかしながら、発表したスライドをいくつか添付します。
その後
その後、無事に上長との卒業報告会を実施し、晴れて「Data Polaris」に認定されました！
Snowflakeに関する技術的な部分は、これまでもSnowflake社のエンジニアの方々とお話させてもらったり、意見交換の場があったので、一定把握できていたと思いますが、ミッションやビジョンなどについてはきちんと理解できていませんでした。
Snowflakeを利用するユーザーとしてミッションやビジョンの理解があった方がいいと思うし、この点を理解させてもらえたことが、今回SnowCampに参加して一番良かったなーと思う点です。
Snowflakeに興味をお持ちの方、SnowCampに参加したいなと思っている方に、多少なり参考になれば幸いです。
では、これからもインテージテクノスフィアの「技術ブログ」を、宜しくお願いします。
