この記事はRetty Advent Calendar 2021の22日目の記事です。
Retty分析マネジャー平野（@MasaDoN22）です。
今年で4作目の”Retty分析チーム振り返り記事”です。（過去記事：2020年 / 2019年 / 2018年）
今年は、去年今年を通した仕込みや直面する課題に向き合った結果、さまざまな変化がありました。特に大きい変化は次の3つです。
変化①：”Data-Driven”から”Data-Informed”な意思決定に
変化②：”個人の集まり”から”自立自走するチーム”に
変化③：”データの民主化”から”分析の民主化”に
この記事では3つのパート（変化）と来年の課題を書きました。少し長いですが、ぜひ最後までご覧いただけると嬉しいです。
- 変化①：”Data-Driven”から”Data-Informed”な意思決定に
- 変化②：”個人の集まり”から”自立自走するチーム”に
- 変化③：”データの民主化”から”分析の民主化”に
- 2022年の課題
- おわりに
変化①：”Data-Driven”から”Data-Informed”な意思決定に
今年の大きな変化の一つ目は、組織にData-Informedな意思決定が定着してきたことです。Data-Infomedの対照となる言葉としてData-Drivenがあります。両者の違いは以下記事が参考になります。
データ駆動開発における「Data-Driven」と「Data-Informed」の違いと考察 | by Masato Ishigaki | Masato Ishigaki | Medium
ここでは次の解釈で話しを進めます。
過去のRettyはData-Drivenに近い意思決定文化でした。そこからData-Informedな意思決定文化に転換・定着するようになります。
このパートではどのような変遷を経てData-Informedな意思決定文化が定着したのかついて触れたいと思います。
以下が大まかな変遷です。
- ~2019年：Data-Driven時代
- 2020年：Data-DrivenからData-Informedへの転換
- 2021年：Data-Informed定着
~2019年：Data-Driven時代
2019年までのRettyはData-Drivenな意思決定を中心に据えていました。このData-Driven時代がどのような意思決定文化だったのかを、少し歴史を遡って触れたいと思います。
私がRettyにJOINしたのは2013年頃でした。その時期からRettyでは、定量データを見て意思決定をする文化が根付いてました。特に私が所属していたSEOチームでは、意思決定において定量データを中心に据えていました。検索ボリューム・検索順位・GoogleBotの動向などのデータから戦略や施策の決定、施策効果をData-Drivenに判断していました。
そして、2018年に分析チームが発足されてからは、定量データの活用が組織に広く定着されます。課題発見や施策効果の良し悪し判断など、あらゆる場面でData-Drivenな意思決定を行うようになったのです。
このような流れは拡大する組織にとってはプラスでした。組織が拡大すると意思決定への説明責任が増加します。そこに定量データを示すことで、多くの人のとって納得感のある説明がしやすくなるからです。
しかし、フェーズが変わるにつれて定量データだけでは意思決定が難しくなってきました。理由は、これまで以上に仮説の根拠を求められるようになったからです。
仮説の根拠を高めるためには”ユーザーさんの解像度”をより上げる必要があります。そこでRettyは、定性データの活用を体系的に取り入れることになったのです。
2020年：Data-DrivenからData-Informed転換
2020年は、Data-Driven時代で発生した問題を解決するためUXリサーチの導入をしました。 取り組みの要約は次の通りです。
- 専門家を招き体系的にUXリサーチを学んだ
- 一部のプロジェクトでUXリサーチを活用した
- 毎週UXリサーチを実施した
取り組みの詳細は以下の記事をご覧ください。
▼UXリサーチの導入背景と、導入の仕方について書きました。 note.com
▼具体的なPJでUXリサーチを活用した事例をウェビナーで話しました。 logmi.jp
この取り組みによって、開発プロセスにUXリサーチの導入、各プロジェクトでUXリサーチを活用するようになりました。
2021年：Data-Informed定着
そして今年、去年の仕込みや今年の取り組みの結果、Data-Informedな意思決定文化が定着してきました。
今年の取り組みは大きく次の2つです。
- ”Rettyならではの価値作り”を定量/定性分析で支援 - UXリサーチの民主化
”Rettyならではの価値作り”を定量/定性分析で支援
Rettyは今年から”Rettyならではの価値作り”を全社一丸となって取り組んでいます。この取り組みの中で分析チームは定量定性分析、アルゴリズム開発、プロダクト全体のKPI設計で関わりました。 この取り組みが、定量定性分析を組み合わせたData-Infomedな意思決定事例となり、今のスタンダードに繋がったと感じます。
詳細はRettyメンバーが記事を書いてますのでご覧ください。ここでは簡単に記事の紹介をします。
RettyのPdM田中(@tnkdaito)が”Rettyならではの価値”を作るプロセスを書いた記事です。分析チームはこの記事前半の”調査フェーズ”と後半の”具体的な設計と検証”フェーズで関わりました。
この取り組みは、プロダクト開発にUXリサーチを取り込むことができた良い事例になったと思います。
記事ではアルゴリズム開発の話は触れられていないので、またどこかでご紹介できればと思います。
記事②：プロダクト全体のKPI設計 note.com
今年は”Rettyならではの価値”を浸透させるため、プロダクトKPIを全体的に再設計しました。取り組みの中で沢山の失敗をしました。その失敗とそこから学んだことを紹介しています。
結論としてKPIは”シンプルに作る・王道を使う・みんなで作る”を述べています。精巧さに拘り複雑にしていまったこと、巨人の肩に乗らず発明をしたこと、周りを巻き込まずに一人よがりになってしまったこと、大きな失敗から学んだ結論です。
結果的に今は、普通のKPIを運用するようになりました。まだ一部、複雑さは残ってますが、今年の初めごろに比べると大分改善されたと思います。
UXリサーチの民主化
続いては、UXリサーチの民主化の取り組み事例です。具体的には飲食店へのUXリサーチとリクルーティングの標準化です。
去年UXリサーチの重要性が認識されたことで、現場がUXリサーチを積極的に取り入れるようになりました。しかし、リクルーティングの大変さやtoB（飲食店）では未導入だったりと、組織全体でUXリサーチをするには壁がありました。
そこで、分析チーム本田（@tai4ref）・松田（@designchips）主導の元、飲食店UXリサーチの起ち上げとリクルーティングの標準化を行いました。この活動のおかげで、toBサイドでUXリサーチの実施、現場でリクルーティングが進められるようになりました。
結果、組織でのUXリサーチの民主化が大分進んだと思います。
詳細は次の記事をご覧ください。
記事①：飲食店UXリサーチ
以前まではtoC（グルメサービスRettyを利用するユーザーさん）向けのUXリサーチがメインで、toB（飲食店）へは行っていませんでした。そこで今年、飲食店の理解を高めるため分析チーム本田（@tai4ref）を中心に飲食店UXリサーチを開始しました。
記事では、飲食店UXリサーチを起ち上げた背景、起ち上げ方、学びを紹介しています。
この活動を通して以前に比べ、飲食店の解像度が高まったと感じます。
記事②：リクルーティングの標準化
今年は分析チームだけでなく、各チームでユーザーインタビューが自発的に行われるようになりました。しかし、ユーザーインタビューの需要が増えるにつれ、リクルーティングの大変さが目立ってきました。
そこで、分析チーム松田（@designchips）とCSチームを中心にユーザーインタビューを型化する動きを行いました。
この記事では型化の背景から内容をノウハウとして書かれています。
この活動を通して、以前に比べリクルーティングの負荷が軽減しました。その結果、各チームでも自走してインタビューがしやすい環境が整ってきたと思います。
まとめ
これまでの変遷で、Rettyは意思決定のインプットとして”定量データが中心”から”定量データと定性データどちらも扱う”に変化しました。そして定性データを扱うことで定量データから盲目的に意思決定することも減りました。つまり意思決定の際に、定量データだけでなく定性データやその他のファクターも考慮するようになったのです。
このことからData-Informedな意思決定文化の定着を感じました。同時にこの変化が、組織における意思決定力の底上げに繋がったと感じています。
プロダクト価値に繋がっているかどうかはまだなものの、手応えは感じているため結果が楽しみです。
変化②：”個人の集まり”から”自立自走するチーム”に
今年の分析チームは”個人の集まり”から”自立自走するチーム”に変化した年でした。以前まではチームの問題に対してマネージャーの私が旗振りをすることが多かったです。しかし今年はメンバー間で解決に至るケースが増えてきました。それどころかマネージャーの問題をチームに相談し解決に至るケースまで発生してきたのです。
ではここから、このような状態に至るまでをエピソード形式でご紹介したいと思います。
慢性的な多忙
分析チームは2018年に起ち上がりました。チームのミッションは”意思決定の最大化”です。体制は”派遣型”を採用していて、各チームの目標達成にデータ分析で貢献する役割です。
立ち上がりは良好、すぐに支援対象が拡大していきました。最初はプロダクト部門の1チームだった支援対象が、プロダクト部門全体〜セールス部門とニーズがあれば応える精神で範囲を拡大していました。
このように順調に各チームを支援しましたが、今年問題が発生しました。
それは”慢性的な多忙”です。
何が起きていたかでいうと、業務が日に日に増えて余裕がない状態でした。具体的には次のようなことが起きていました。
- 沢山のタスクを抱えてしまい、夜遅くまで働くのが慢性的に続く
- メンバーから「成長実感はあるものの、このままだと持たないです・・」の声
- タスクを分散するはずのBIツールやDWHの運用保守に手が回らない
この問題が次の悪循環を生んでいました。
つまり、守り（DataOps）が回らず事業側の分析依頼に応えずらくなってきたのです。
システム思考で問題を分析
そこで、忙しさを解消するためにシステム思考で問題を分析しました。システム思考とは問題解決フレームワークの一つです。詳しい内容は以下の記事をご覧ください。
"これから学ぶ" システム思考 / System thinking introduction - Speaker Deck
問題を分析した結果次の構造が働いてました。
ここで気付いた問題点が”仕事を断る流れがない”です。そのためメンバーはとにかくリードタイムを増やして依頼を対応していました。そしてさらに良くないことに、リードタイムとともに増えた待ち時間が、依頼者からの信頼低下に繋がるのでは？という不安感を生んでいることが分かりました。
またこのループについてチームで話しているとき、私たちの現状認識に根本的な課題があることも見えてきました。「不要な仕事は依頼されないだろう」、「全て対応すべき」と無意識的に捉えていたことから改める必要があったのです。
忙しさ問題解消のためスクラム体制を導入
問題の構造が見えてきところで次のアプローチを取りました。
- 受ける分析タスクに上限を設け、きちんと断る
- 個人だと断りづらいので、チームで取り組むようにする
また上記をやりやすくするために”スクラム体制”を導入しました。
自立自走するチームに変化
スクラムを導入することで無事忙しさ問題を解消することができました。またそれだけではなく個人プレーだった分析チームがチームプレーに変化したのです。変化の要因は、毎日の朝会、毎週の振り返り、スプリントゴールの設定など基本的なスクラムの取り組みによる効果が大きかったと思います。
チームプレーになることでチーム力が向上し、チームが自立自走するようになってきました。冒頭で上げた通り、マネージャーが介入せずとも解決する問題が増えてきました。それどころかマネージャーの私が抱える問題を相談し解決に至るケースが増えてきました。
以前までの私はマネージャーの問題をチームに相談することはありませんでした。しかし、チームの問題にみんなが主体的に関わるようになることで私自身も「みんなに頼りたい」という気持ちが芽生えるようになりました。そして、実際に相談することで自分自身が考え付かないアクションが生まれました。また、一部の問題をメンバーに任せるなどの効果も生まれました。
これらの経験は、私の中で”チームの可能性”を大きく実感する良い経験であり、成長させてもらって感謝な出来事でした。
変化③：”データの民主化”から”分析の民主化”に
今年のRettyは”データの民主化”から”分析の民主化”へと提供価値を広げることができました。前者はダッシュボードによる定点観測が主なアウトプットですが、後者はさらにアドホック分析の標準化が含まれます。そのために2つの壁を超えました。DWH運用の安定化と、Looker導入です。このパートではこれらの壁を乗り越えた方法をご紹介します。
1つ目の壁：DWH開発の停滞を解消する
今年の初めごろは、DWH開発が停滞して負債が溜まり始めている状態でした。そもそもの”データの民主化”を進めることから危ぶまれる状態です。また時を同じくして、Looker導入の検討が進められていました。
すでにBigQuery上に構築されたDWH層を継続して運用しつつ、Lookerのデータソースに用いる設計で検討されていました。DWH開発が停滞しているままでLookerを導入しても、そもそもの運用の期待ができず、DWH層がボトルネックとなり新規開発も進みません。
この問題を解消するために、上述と同じくシステム思考を用いた現状把握をしたところ、主にDWH開発を担うデータアナリスト自身が、その恩恵を実感できていないことが分かりました。もともとはDWH開発をすることでデータアナリストの慢性的な多忙を解消する目論見でしたが、"仕事を断る流れがない"サイクルによりタスクは積み重なっていくため、多忙を解消する恩恵はほぼ実感できません。
仕事を断らないことで慢性的な多忙が続き、またある程度の成果が出てしまうが故に、さらに高度なデータ分析が依頼されるという負のスパイラルから脱出する必要がありました。そこでこの問題を解決すべく、上述のスクラム体制の導入に加えて、データアナリストの業務フローに"DWH開発"のプロセスを組み込みました。
詳細は下記スライドをご覧ください。
2つ目の壁：Lookerの導入プロジェクトを成功させる
次にLooker導入プロジェクトを成功させる必要がありました。それは上述した分析の民主化へと提供価値を広げるためです。今年の初め時点では、BigQueryユーザーであれば自らアドホック分析ができる状態だったものの、BigQueryに慣れない層とっては難しい状態でした。
そこでLooker導入によって”BigQueryに慣れない層がLookerを用いて、自らアドホック分析ができる状態”を目指すことにしました。
このプロジェクトは分析チーム渡邉が主導の元、各ステークホルダーや分析チームのデータアナリストと連携しつつ丁寧にプロジェクトを遂行しました。
具体的な進め方は渡邉が詳細化しているのでそちらをご覧ください。 engineer.retty.me
結果、無事にプロジェクトは成功しました。Lookerの権限さえあれば大抵の分析ができる状態になりました。また、BigQueryに慣れずデータ出し依頼を定常的にしていた方が、Lookerで自ら分析を行う姿を見かけるようにもなりました。
（セールスチームMGRの声）
渡邊くんと本田くんのおかげでBiz系のメンバーがLookerをみて事業の重要な数字を把握する習慣ができたし、朝会のアジェンダに組み込むようになり、日々の業務に忙殺されながらも事業の状態を把握する意識を少しづつあげていけるようになった🤗 https://t.co/Hj5fAcjbIu
— 諏訪｜LayerX (@bizdev_it_suwa) 2021年12月18日
このとき、”データの民主化”から”分析の民主化”への変化を実感しました。とはいえまだ、”組織全体が自らデータ分析のできる状態”には届いていないので引き続き精進していければと思います。
2022年の課題
以上が今年の振り返りでした。 ”Data-Driven”から”Data-Informed”な意思決定に・”個人の集まり”から”自立自走する分析チーム”に・”データの民主化”から”分析の民主化”にと今年も良い変化を起こせたと思います。
最後に2022年の課題を少し紹介して終えます。
2022年の課題は”データマネジメントの強化”と”定量/定性分析の精度向上”です。
データマネジメントの強化
今年、分析の民主化へと提供価値が進んだことで多様な観点での分析需要が増えました。これまでのDWH設計では不都合な問題が多々発生しています。とくにDWH層に複数目的が集中したりと設計の判断が難しいケースが頻発しています。
またDWH開発の難易度も徐々に高くなっていると感じます。そのため、設計や体制面、技術面から変えていく必要がありそうです。つまり、これまで以上のデータマネジメントの強化が必要です。
定量/定性分析の精度向上
次に定量定性分析の精度向上を来年は目指したいと考えてます。理由は、分析の民主化の結果、良い意味で”分析スキルのコモディティ化”が進んだためです。
今RettyのPdM陣は、自ら定量定性分析をするスキルを持ち合わせています。基本的なデータ分析やUXリサーチを自ら行っています。そのためデータアナリストの提供価値も変化させなければなりません。
そこで今後は、科学的な前提に基づき定量定性分析の意思決定支援ができるよう専門性の幅/高さを、これまで以上に高めていく予定です。定量定性どちらも専門性を追求するには学習領域は広いので、UXリサーチを専門とする人、統計的な分析を専門とする人と、分ける方向性になるかもしれません。両方の方向性もあると思います。
どちらにせよチームとして大きな変化が必要になりそうです。
おわりに
最後までお付き合いいただきありがとうございます。
来年は分析チームの役割として専門性を上げていきます。そのためにも、データアナリスト・アナリティクスエンジニア・データエンジニアと強い仲間が必要です。
皆様のご協力を頂きたいです。
少しでも興味がありましたらぜひお話ししましょう。
まずはカジュアルな情報交換や相談・雑談でもOKです！
