この記事はRettyアドベントカレンダー19日目の記事です。 昨日はretty-y-takaseによるプロポーザル提出は個人のモチベーションに左右されずコントロールすることが可能なのかでした。
1. はじめに
こんにちは、Rettyのデータ分析チームでマネージャーをやっている平野(twitter / fb)です。
データ分析チームを去年の4月に立ち上げてから1年と9ヶ月が立ちました。1年目ではチームの意義や組織における位置づけ・分析するための環境つくりなど手広くやってきました。
1年目を振り返ると、データ分析チームとして各データアナリストがPJに貢献する体制が構築できたのと、分析するためのデータレイク層やデータマート・ダッシュボード開発など進み、組織としては最低限のデータ活用を行える土壌が整えることができたと思っています。
そのときの取り組んだ内容は去年のアドベントカレンダーで紹介してますのでご興味ある方はぜひご覧ください。
2年目の今年に関しては、意思決定支援の価値向上、データ民主化に向けた取り組みが中心の振り返り内容となっています。
本記事は今年の振り返り・今後の展望の2構成です。
今回とても文量が多いので気になるところだけでも読んでいただけますと幸いです。
2. 前提説明 - データ分析チームの紹介
振り返りや今後の展望を説明するにあたって前提となるチームのご紹介をします。
ミッションの意義
社内・ユーザーさん・お店さん・クライアントさんに対して
高い専門性で意思決定の質とスピードを最大化し
目的/目標に対して最短で到達する選択ができるように支援すること
意思決定支援の提供範囲は大きく社内と社外になります。
社内に関しては、経営層や事業責任者、PdM（プロダクトマネージャー）がメインの対象になります。
社外に関しては、Rettyサービスを使ってくださるユーザーさん、飲食店支援サービスを活用してくださっている飲食店（お店さん）、その他クライアントさんが対象になります。
社外への意思決定支援の具体例を一つご紹介すると、Rettyを利用してくださっているユーザーさんはRettyを使ってお店を決めるという意思決定を行っており、データ分析チームでは、アルゴリズム開発を行うことでよりBESTなお店が見つかる体験を支援しています。
また、「高い専門性」と抽象的ですが、これはRettyデータ分析チームが統計・機械学習・データエンジニアリングといった領域を包含しているからです。
メンバーについて
上記ご紹介した役割を担っているデータ分析チームは現在、社員5名・インターン・アルバイト3名の計8名のチームです。
Rettyのデータ分析は経験豊富なメンバーよりかは若手が多いですが、いずれのメンバーもプロダクト・ビジネスの成長に向き合う姿勢の高さと学習意欲の高さが特徴的なメンバーで、圧倒的なスピードで成長しています。
控えめに言って最高に優秀なメンバーです。
（チームメンバーで撮った写真）
チームの動き方、行っている分析業務
去年書いたアドベントカレンダーに記載しているのでこちらを見ていただければと思います。
3. 振り返り編〜
それでは本編に入ります。 最初は、今年の取り組みの振り返り編になります。 大きく以下2つの事柄に対しての振り返りをまとめました。
- データアナリストによる意思決定支援の変化
- データ民主化に向けた動き
データアナリストによる意思決定支援の変化
今年大きかった変化としては組織的な変化と手法の変化があります。 最初に組織的な変化の振り返りです。
会社における、より上流の意思決定支援を行えるようになった
変化を説明するためにまず、分析の粒度を以下のように整理してみました。
- 1.経営の意思決定のための分析
- 新たな市場選定や、現在取り組んでいる市場における利益獲得に関係する要素分析などを行う分析業務
- 2.プロダクト/ビジネス戦略のための分析
- ターゲットの選定や提供価値を決めるための分析業務
- 3.課題特定のための分析
- KPI向上における改善すべきポイントを特定するために探索的に現状把握していく分析業務
- 4.施策のための分析（施策のインパクト試算、効果検証など）
- 主に企画した施策がKPIに対してどの程度インパクトするかの見立てをする分析業務や、施策を打ったときにKPIに対してどの程度効果があったかどうか検証する分析業務
去年までは比較的「4.施策のための分析」が多く、一部の人が「3.プロダクト/ビジネス戦略のための分析」を行うという状態でしたが、今年の後半くらいからは「4.施策のための分析」が減り2や3の分析業務が中心になってきました。
基本的には、上に行けば行くほど組織における重要度は高くインパクトも大きいのでデータ分析チームとしてはより上をやっていきたいと考えてましたが、下の分析業務の方が圧倒的に発生数が多くデータアナリストは「4.施策のための分析」に追われている状態でした。
また、組織におけるデータ出しができる人材がほぼデータ分析チームしかいない状態だったため、全てをデータアナリストが対応する必要があったのも「4.施策のための分析」が多かった理由です。
そこから1年が経ち冒頭で上げたように、「4.施策のための分析」が減り、より上流の分析に取り掛かれるようになりました。
それには3つほど要因があります。
- ①着実に組織の意思決定に貢献したことでデータアナリスト個々人の信頼が向上したこと
- ②メンバーの成長によって単純にバリューの出せる範囲が拡大したこと
- ③社内のデータの民主化が進むことで今まで行っていた4の分析をもともとの依頼者だったPdM自身が行えるようになってきたためデータアナリスト自身の余裕ができたこと
余裕が生まれることでより難易度の高い問題に取り掛かることができ、そこで成果をだすことで信頼が蓄積し、結果として自然と上流の分析について相談がくるようになったという流れです。
また、去年と比較するとデータ分析チームに求められるアウトプットの期待値が向上したと感じております。
去年までは、ものによってはあまり分析しないで意思決定するものも多々ありましたが、分析でできることの基準が上がってきたことによって、求める質の基準が上がり、以前より組織における意思決定の際のデータ分析需要が上がったと実感しております。
以下の記事は、上記で記載した「メンバーの成長」や「貢献の具合」がわかる内容となっておりますので、もしご興味持っていただけましたらご一読下さい。
未開拓領域のビジネス部門に支援を本格的に開始した
携わる分析業務の粒度の変化に加えて、組織内における支援範囲の拡大もしていきました。
去年までは、プロダクトを開発するプロダクト部門だけが支援対象でしたが、マネタイズを担当するビジネス部門にも支援対象を増やすことができました。
データ分析チームの存在意義として全社の意思決定を支援していくことを表明していることから、去年のチーム立ち上げ当初からビジネス部門にも貢献したかったのですが、中々踏み込んで支援していくことはできていませんでした。
それは、ビジネス部門のドメイン知識に強く現場や上層メンバーから信頼の高いメンバーが居ないことや、データ分析をしたいというニーズがプロダクト部門ほどは高くなかったこと、データ分析チームが組織上プロダクト部門の中に所属していることから優先度が上げづらいことなど、複合的な理由がありました。
これらの問題解消に向けて以下を行いました。
- データ分析チームをプロダクト部門から全社横断がスコープとなる部門（エンジニアリング部門）に異動させた（補足として、この目的以外の理由もあって異動になった）
- 上記の理由からビジネス部門に対してもコミットできるようになったので、チームの中でも信頼性やドメイン知識の低さの問題を突破できそうな突破力が高いメンバーの一人に任せた
- ビジネス部門のMGRに目的や背景説明、任せたメンバーへの目標設定を事前にすり合わせた
- 他にも1on1で様子を聞き適宜アドバイスを行ったり、分析チームとの連携に問題が発生したらビジネス部門のMGRと問題解決に向けた議論を行った
結果として、ビジネス部門では以前より分析ニーズが増えそれに答えることで信頼を集めることができました。またそれによって商品企画などビジネス部門にとって重要な意思決定に対しても頼られるようになり、より大きな意思決定に貢献できるようになってきました。
組織の体制変更や私自身の事前の調整・サポートもありましたが、一番大きかったのは任せたメンバーの頑張りだと思っています。
ビジネス部門を任せた当初は、ビジネスのドメイン知識の不足による分析の仮説構築の難しさや、現場の人との関係構築がまだできてなかったことでコミュニケーションが大変だったことに加えて、細かな分析依頼に対して全て一人で対応する業務量の過多と色々課題はあったと思います。
しかし、それを乗り越えて現在では上記の結果で挙げたように、ビジネス部門で信頼されるようになってきました。
それができた一つの要因として、彼が全ての分析に対して意思決定に貢献するという目的に対して妥協しないアウトプットができているので、それが常に相手の期待を超え信頼向上に繋がったからだと私は思っています。
そんなメンバーが意思決定に繋がる分析において大事にしていることを紹介している記事が以下になります。
engineer.retty.me
集計/可視化だけのアウトプットから統計モデルを活用し始めた
ここまでは主に組織的変化の話でしたがここでは手法の変化についての振り返りとなります。
Rettyのデータ分析チームでは今年の後半にかけて、集計/可視化以外でのアウトプットが増えてきました。具体的には、一般線形回帰の中の重回帰分析やロジスティック回帰モデルなどの活用です。
活用されるようになってきた背景としては、集計だけでは品質に自信を持てない問題のケースを担うことが増えてきたこと、活用するにあたって必要な基礎のインプットに努めたことが大きいです。
集計だけでは品質に自信を持てない問題のケースとは、例えば「あるKPIに寄与する要因が知りたいときに、業態(居酒屋とか)によって変わるかもしれないし、都道府県によって変わるかもしれないけどどう分けて集計し、意思決定に活用してもらうか」のことです。
そのため、データ分析チームでは現状持ち合わせている分析手法に対して課題感をもっており、この問題のケースに対するより良い分析手法を選択し活用できるようになる必要があると思っておりました。
しかし、もともとRettyにおける分析業務においては集計/可視化で解くことができる問題が多かったとや、統計領域に強い人よりかはプロダクトやビジネスに踏み込めるマインドやコミュニケーションスキルの高さ・自らデータ出しをしやすくするためのツールやデータマート作りなどエンジニアリング的要素が強いメンバーが多く、統計モデルを活用するためのスキルや経験を持ち合わせているメンバーが少なかったのです。そういったサイエンスバックグラウンドを持ち合わせたメンバーは居ないわけではないですが実際のビジネスでの活用経験がある人がいないといった状況です。
そこで行ったのがデータ分析チームで統計検定2級の受験です。業務としてではなく有志を募って行いました。
ビジネスで活用する統計的手法の理論を理解することで活用すべき問題のケースを見極められるようになることや、きちんと活用できるようになることを狙いとしました。
正直、統計検定2級の範囲は基礎中の基礎だと思っておりますが、恥ずかしながらそれさえも身に付いていないのが現状でしたのでこれから統計学を学んでいく第一歩として統計検定2級の受験からスタートしたという背景です。
結論から言うと、この取り組みに関しては本当にやってよかったと思っております。
今までなんとなく理解していた事について、数学的理解や生まれた背景となる歴史を学ぶことで、なぜそれをこのときに使うのか？に対して理解ができ、活用シーンや活用する際のポイントが掴めたり結果に対する解釈のレベルが向上したと感じています。
結果的に、前述した集計だけでは作業コストがかかることや品質に自信を持てない問題のケースに対して重回帰分析やロジスティック回帰モデルの活用をすることで今までよりは作業コストの低減と品質の向上につながったと思われます。（もちろんまだまだ考慮しないといけないことに対する理解不足や、そのために必要な手法は活用できていないと理解しています。）
実際の活用した手法に関する記事をデータ分析チームのメンバーの一人である二見がアドベントカレンダーにて書いてくれていますのでご興味ある方はご一読ください。
今後も、よりデータ分析としての武器の選択肢を増やすためにも、統計学については学び続けて行きたいと思っております。
データ民主化に向けた取り組み
データ基盤PJを発足しDWH層を作り込んだ
去年の4月、データ分析チームが立ち上げから1年間で散らばっていたデータを一つのDWHに集約することができ、データアナリスト各々がデータ出しがしやすいようにデータマートの構築を行い、それぞれのPJでデータアナリストが分析できる状態にはなっていました。
また分析で意思決定に貢献することで社内における分析ニーズも増えてきました。 そうなってくることで以下にあげる2点の課題にぶつかりました。
①SQLにおけるデータ出しの敷居の高さによる参入障壁の高さ
- データを出すために高いクエリ構築力が必要
- どこにどんなデータがあるか不明で、社歴の長いドメイン知識豊富な一部の人材しか情報をもっていない
そのため、データアナリストしかデータを出すことができず簡単な分析業務も全てデータアナリストが行なっていました。
本来PdM自ら分析したほうがスピードが出る分析ケースに対して非効率だったのと、データアナリストとしてはより複雑で難易度の高い問題に取り掛かることができない状態でした。
もう一つの課題が②数値の信頼性が担保できていないことです
具体的な課題は以下になります。
その結果、出した数値が信頼出来ない問題に繋がっていました。
これらの問題は、「意思決定をミスる」など大きな問題に繋がるリスクが存在します。
これらの課題解決のためには、DWHをよく使う人のドメイン知識が必要であることから、データエンジニアのみではなく、分析を普段行うデータアナリストも一緒になって課題に向き合う必要があると考え、データエンジニア＋データアナリスト総勢5名で取り組む「データ基盤PJ」を発足し課題解決に取り掛かりました。
具体的にどのようにやったかについては、データ分析チームのデータエンジニアである竹野の記事に記載されているのでご覧いただければと思います。
取り組んだことで上記で挙げた課題が解消されました。
また、その結果としてSQLの組み立てに対する難易度が低下し、基礎的なSQLを習得している人（特にPdM）自身がデータを出すことでができるようになり、より能動的にプロダクトの改善を進められるようになりました。 またデータアナリスト自身もデータ出しの生産性が上がりました。 さらにそのおかげでデータアナリストに余裕が生まれ、より難易度の高い分析案件にリソースをさけるようになりました。
結構大変なPJでしたが、これは今年一やってよかったと思えた取り組みでした。 また、今回の成果においてメンバーの竹野の貢献が大きく、全体設計からデータアナリストを巻き込んだ開発体制の構築など全て主体的に動いてくれました。 結果として、よりよいデータ基盤ができただけではなく、PJを通してメンバーの開発に対するスキル向上にも繋がりました。
コミュニティ（DataPlatformMeetup）を立ち上げた
DataPlatformMeetup（＝以下DPM）とは「DPMとは事業会社が自社のデータプラットフォームに関する設計や運用に関するノウハウを発信する場」です。
data-platform-meetup.connpass.com
扱われるテーマとしては主に以下のようなものになります。
- DWHの設計（データレイク層、DWH層、データマート）
- テーブル, データセット, プロジェクトの切り方, 命名など
- BIツールの利用方法
- 運用を見据えたガバナンス
- 権限設定,マスキングなど
- データアナリストとデータエンジニアの役割分担（組織設計）
- 品質担保
このコミュニティは私とチームメンバーの1人渡邉とで立ち上げました。
立ち上げの経緯としては、上記データ基盤PJのDWH層の作り込みの中で生まれました。 PJを進める中で特に難しいと感じたのが設計でした。例えばテーブルはVIEWで作るか実テーブルとするか、命名規則をどうするか、そもそもDWH層ではどのようなテーブルを提供すべきかなど。
このような設計に纏わる課題に対して、議論されている場があれば参加したかったのですが私が参加・観測しているコミュニティだとこのような議論はされておらず、課題が社内で閉じていました。
また、他の企業に課題感を話す中で同様の課題を持っていることを伺い、同じような課題を持っている企業が多いのではないかという仮説が立ちました。
同じissueに対しての解決方法は、企業のビジネスやサービスの性質・チーム構成やカルチャーが違えば異なるとは思いますが、
もしこの課題に対して取り組んだ事例を発信できる場があれば、多くのissueに対する解決方法に触れることができ、Retty自身が抱える課題の解決のヒントなるかと思い、コミュニティを立ち上げるに至りました。
このコミュニティでのイベント開催はまだ2回ほどですが、
結果的にイベントのLTを聞いたり懇親会で議論することで、抜けていた視点が入ってくるようになったことや、考えた方向性に対する自分の中での確信度が向上したのでこれはやってよかったと思っています。
その他やったこと
これらについても振り返りたかったのですが、文量が膨大になるので別の機会とします。
あまり触れてませんがアルゴリズム開発に関してはデータ分析チームで担っており、メンバーの一人渡邉がメインで担っております。その渡邉がアルゴリズム開発を行う上で大切にしている考え方について記事化してくれているのでこちらもご紹介しておきます。
4. 今後の展望編〜
振り返りの次は、今後の展望として来年やっていくことを表明していきたいと思います。 やっていく内容としては、データアナリストとして組織に価値提供できるための取り組みとデータ民主化、そして機械学習の活用でプロダクトの成長に貢献することがメインになってきます。
専門家としてのスキルの基準を上げて新しい発見・観点を提供していく
今年の後半では行う分析業務がより上流に変化したことや、扱う分析手法の変化がありました。また今までデータアナリストが分析を全て行っていた状態からPdM自らが分析をするようになりつつあります。
そのような背景からデータアナリストとして今後組織に貢献していくためには、より専門性を上げてこれまで以上の価値提供を行える必要があると思っています。（補足：貢献していくには専門性の向上だけではないと思っていますが今回はそこには触れません。）
具体的に取り組んでいきたいと思っているのは、引き続き統計モデルの活用と定性リサーチの領域です。
統計モデルを活用したい背景は振り返り編で触れたので割愛します。
定性リサーチに関しては、シンプルにユーザーさんの現状を正しく理解するには必要なことだと思っているからです。
定量データだけでは例えば、〇〇の遷移率が低いとか高いとかが分かってもそれがなぜなのかが見えてきません。本来Rettyのデータアナリストの役割としては、意思決定を支援することです。プロダクト・ビジネスの大きく成長させる上でもっとも大事だと思っているのが、正しくユーザーさんの現状を把握することです。（この理由については去年のアドベントカレンダーに記載しています）そのためにデータから読み解くだけではなく実際にユーザーさんの生の声を聞いたり観察することで真実に近づくと思っています。
この領域もまた学習が大変だとは思いますが、学習しながら取り組むというスタイルは変えず進んでいきたいと思います。
データ民主化に向けて、ツール作り・育成・ガバナンス強化・コミュニティ活動
データ民主化に向けた動きは、今年取り組んでいたDWH層の作り込みやDPMの運営に加えて新たに取り組むことも並べてみました。
①PdMが自ら分析ができるように支援していく
DWH層が整い基礎的なSQLを習得した人ならデータ出しがしやすい環境が整ったので来年はPdM自らが能動的に分析できる状態にすべく、よりサポートしていきたいと思います。
具体的には以下のような取り組みを考えています。
- 育成のフレーム構築
- ドキュメント化
- PdMになりたい新卒をチームに招く
データ分析チームの一つの役割として、PdMを目指す新卒の方の登竜門となれればいいと思っています。前提として、Rettyとして新卒が事業の中心になって活用する状態を作りたいということから新卒採用に力を入れています。
様々な職種を採用する中でPdMとしての新卒採用（厳密には総合職採用）も行っており、そのキャリアパスとしてまずデータ分析チームに所属しデータ分析業務を行うことでPdMの必要スキルの一つである分析力を身につけてもらいRetty組織内でPdMに転向していくという流れを狙っています。
最初にデータアナリストとして活動することで分析スキル向上以外にも
- 意思決定のプロセスが理解できる
- 幅広いチームの分析をお願いするので組織全体のドメイン知識を身につけることができる
といったメリットがあるのでRettyでPdMを目指したい人にはおすすめです。（補足: データアナリストとしてキャリアパスを描きたい人も募集しています）
②データ領域におけるガバナンスの強化
ガバナンスに関しては現状抱える問題感としては2つあります。
( 1 ) 指標の仕様/名称の定義のズレ
同じ集計ロジックの指標に対する個々人が使う指標名が異なる問題が存在します。
例えば、口コミ数に関する指標に対して投稿数・口コミ数・レポート数など複数の言い方が存在しています。 このような言い方一つでも認識ズレが発生しコミュケーションコストの増加や間違った意思決定につながってしまうリスクが存在します。 指標の集計ロジックとイコールで指標名の定義も行い、定義された指標名でコミュケーションを取れる状態にしていきたいです。
今の所この問題に対しては、
- 指標名を定義する
- 定義された指標名を扱うようにデータ分析チームが中心に啓蒙活動を行う
- すでに存在するダッシュボードに記載される指標名も定義通りに修正する
などを行っていくつもりです。
( 2 ) 社内と外部向け間における集計値のズレ問題
今年の取り組みの中で社内間での集計値のズレは減少傾向ですが、外部向けのBIツールの集計ロジックに対してはデータ分析チーム管理化においていないため社内外間で集計値が異なる問題が生まれてしまうリスクがあります。
ここもデータ分析チームで定義している集計ロジックを扱うように管理化に入れたいと考えています。
機械学習でプロダクトの成長に貢献する
今年やれなかったのが、機械学習でプロダクトの成長に貢献することです。 現在そこに対してはまだ成果が出せていないですが取り組み自体は行うことができています。 振り返り編では触れませんでしたが機械学習による画像処理の領域です。 お店探しにおいて写真はとても重要でプロダクトのKPIに貢献しやすい要素なのと、人のルールベースなロジックが比較的機能しずらい問題もあり、この領域に対しては機械学習は相性が良いと考え取り組んでいます。
まだリリースに至ってはいませんが、PoCのフェーズで高い精度が出せているのでリリースが楽しみです。 また画像領域ではなく他領域（レコメンドなど）でもインパクトが出せそうな箇所を捉え取り組みは行っていきたいと考えています。
5. 最後に
こうやって振り返りを書いてみると、自分自身は直接的に行ったものがあまりないなと思うくらい今年はチームメンバーひとりひとりの活躍が目立った一年だったなと思います。 Rettyのデータ分析チームは立ち上げから2年目で、メンバーも若手が多くまだまだチームとしても個人としても急成長していかないといけません。 お決まり文句にはなりますが、Rettyデータ分析チームではチームを率いることのできる経験やスキルを保有したデータアナリストとデータエンジニア、機械学習エンジニアをそれぞれ募集しています。 ご興味もっていただけた方は是非ご応募ください。
また募集とまでもいかずカジュアルに話してみたいくらいの方はぜひ平野とランチしましょう。
