Rettyでデータアナリストスキル定義&FB制度を導入した話

Rettyのデータ分析チームMGR平野です。

今回はRettyにデータアナリストスキル定義の作成とFB制度を導入した話です。

データアナリストスキル定義&FB制度の作成は、今年の4月に着手スタート、メンバーと議論を重ねて8月末に完成しました。そして、9月には初の運用をスタートさせ、メンバーからの所感やフィードバックをもらったところです。

まだまだ粗削りで改善点はあるものの、このタイミングで紹介させていただき、皆さんからのフィードバックを受けてもっと良くできればと思っています。

また、このデータアナリストスキル定義は、Rettyの現状と未来に必要なスキルを定義しています。そのため、必ずしも各社の参考になるものでないと思うものの、これから作成と運用を考えている方々に少しでも参考になればと思って書きました。

さらに、今回作成するにあたって社内のエンジニアやPM、デザイナーの先行事例を参考にしていますので、よければ併せてご一読ください!

engineer.retty.me

note.com

note.com

データアナリストスキル定義全体像

まずは出来上がった定義の全体像を紹介します。

大枠の内容は、一般社団法人データサイエンティスト協会が定義されるスキルセットを参考にさせていただいています。そこからRettyに合う形にアレンジしました。そのため、業界スタンダードから大きく外れた内容ではないと思ってます。

Rettyデータアナリストには”UXリサーチ & データマネジメント”が求められる

あえてRettyの特徴を上げるとすれば”質的調査力(UXリサーチ)”と”DWH設計・開発・保守・運用する力(データマネジメント)”を入れている点です。Rettyのデータアナリストは、定量分析だけではなく定性分析も行います。さらに、データマネジメントもデータアナリスト主体で担っているため、データマネジメントに関するスキルも定義に含めました。

FB制度の流れ

セットとなるFB制度は以下の流れで進めます。

1.被評価者:スキル定義の中項目毎に4段階評価&評価理由のコメント記載

2.評価者:被評価者と同じように4段階評価&評価理由のコメント記載

3.評価者&MGR:キャリブレーションの実施→最終評価を決める

4.評価者&MGR:被評価者へフィードバック

評価者は一定のスキル基準を満たしたデータアナリスト&MGRで構成されています。また、最後の被評価者へのフィードバックは、評価者&MGRで行います。

背景①: データアナリストとしての専門性を高めたい

ここまでがスキル定義&FB制度の全体像でした。
ではここで「そもそもなぜスキルの定義付け&FB制度が必要になったのか?」その背景を説明したいと思います。

Rettyデータ分析チームは2018年に結成され、現在5年目になります。(過去の取り組み内容:2018年 / 2019年 / 2020年 / 2021年
5年目に入ったタイミングに組織で分析スキルのコモディティ化が起きました。

<経緯の要約>
・分析に必要なデータがデータ分析基盤(BigQuery)に集約されるようになった。
・DWH開発が一通り終えることで、一定のデータ品質担保や分析の生産性向上が見られた。
・非アナリスト(PM/プランナーなど)へのBigQuery育成や分析業務のサポートを行うことで、簡単な分析業務であれば現場で進むようになった。
・分析スキルの基準値が上がることで、良くも悪くも分析チームと現場との分析スキルの差が縮まった。

こうした背景から”分析チームならではの価値”を出せるように進化すべく、その一つとして”データアナリストとしての専門性を向上させる”を中長期目標に掲げました。

背景②: データアナリストとしての理想像と現在地を把握しよう

では専門性を上げるためにはどうするべきでしょうか?こういうときに、何を学ぶべきか?何を経験すべきか?という問いに考えたくなるものですが、その前に、目指す理想像と現在地を把握できていないことに気付きました。

前提として以下の①〜④を周すことが大事だと考えます。

①Rettyデータアナリストの理想像を定義

②理想に対する現在地の把握

③課題の設定

④改善アクションの実施

①に戻る

これまでなんとなくで課題設定や改善アクションを実行していたものの、そもそも理想と現在地が不明瞭でした。理想と現在地がなければ正しい課題設定と改善アクションを実行できないと思います。

そこで、理想と現在地を明確化を目的としたデータアナリストスキル定義&FB制度を導入することにしました。

スキル項目ごとの解説

ここからはデータアナリストスキル定義の各項目を解説していきます。解説であることから細かく書いてしまっているためボリューミーになってしまいましたが、ぜひ見たい箇所だけご覧ください!

ビジネススキル

課題の定義・スコーピング・優先順位付けする力

色んな情報を集めてビジネスの課題を構造化し、事業の方向性から逆算して優先度をつける力

Rettyのデータアナリストは、経営・事業の意思決定を支援することが役割です。そのため、与えられた問いに答えるデータ分析だけを担うのではなく、そもそものビジネス課題の定義や優先順位付けの意思決定もサポートすることを求めます。故に”課題の定義・スコーピング・優先順位付けする力”をスキル定義に含めました。

影響力

非アナリストが自走してデータ活用できるようコーチングする力

Rettyでは分析の民主化(組織全体が分析チームに依頼せずに自分達でデータ分析を自走して行うことができている状態)を目指しています。その活動のために必要な能力になります。具体的には、非アナリストへのデータ抽出(クエリ)や分析相談などの機会で、コーチングすることで解決を支援し、学習を促進させる取り組みです。

専門家である私達が、非専門家の目線に立って、困っていることの支援をすることが、組織のデータ活用文化を醸成していく上でも重要であると考えていますのでスキル定義に含めました。

コンプラの理解説明・ルールの遵守力

個人情報などに関する法令を理解し、ルールを遵守する力

守りの観点をビジネススキルに含めました。より良い分析やデータ基盤を整えたとしても、法令違反をしてはなりません。Rettyでの具体的ケースとしてはユーザーさんの個人情報の管理が該当します。個人情報の取り扱いルールを定めて組織全体でルールを遵守するために、必要な知識を備えて運用するスキルも定義に含めました。

データ分析力

問いを立てる力

問題に対する答えになり得る選択肢(解決すべき課題)を洗い出す力

意思決定者からのお題を分析可能粒度に落とし込む作業や、複数の仮説を構築、解くべき問いを決める作業がこのスキルにあたります。一方で、良い仮説は意思決定者が持っている場合も多いです。そのため、彼らに様々な観点の質問をすることで、より良い仮説を引き出す能力もここでは求められます。

また、無駄分析を避けるためにも、問いを定めた後のアクションもこの工程で行います。意思決定者と想定アクションを定めて分析後に「結局どの選択肢も実行出来ませんでした。。」ということの無いように、事前に意思決定者と認識合わせをしておく動きもここでは必要になってきます。

設計力

問いに答えるために必要なデータや解析/可視化手法の選択と、複数の意思決定パターンを設計する力

解くべき問いが決まったら、次はどのように問いに答えるかを設計します。この工程では、定量分析or定性分析の分岐、目的に適した分析手法と具体的なアウトプットイメージや調査項目を作成するスキルが求められます。

また、仮説検証においては「どういう結果だったらどのような意思決定をするのか」の意思決定パターンもここで定めます。そのため、意思決定者と事前に認識をすり合わせるスキルも求められます。

集計・加工・可視化する力

必要なデータを出す実装力(BigQuery)やツール(スプレッドシート/Pythonなど)を使いこなせる力

前提としてこのスキル項目は、定量分析だけをスコープにしています。また、この項目は要素として大きいため、さらに要素分解して説明します。

  1. データ理解
  2. 抽出
  3. 集計/加工
  4. 可視化

1.データ理解
自らが担当する領域においてのテーブルやログデータの理解をする作業です。理解することで、データ抽出の際のミスを防ぐことや、抽出スピードの向上に繋がると考えていますので定義に含めました。

2.抽出
BigQueryなどのSQLで必要なデータを抽出する作業です。必要なデータを素早く正確に出すための実装力が求められます。また、データ抽出にミスがないかをチェックする作業も行います。ダッシュボード値との照合や、生データチェックをすることで、データ抽出のミスをできる限り防ぐための検算力も求められます。

3.集計/加工
表計算ツールやPython等で抽出データを短軸やクロス集計する作業です。関数やピボットテーブルを使い、この後に続く可視化に繋がる集計力が求められます。また、データを各変数の分布・欠損率などを踏まえて、外れ値・異常値・欠損値の対応方針を決定する力も求められます。

4.可視化
集計/加工したデータが直感的に伝わるようにグラフで可視化する作業です。表計算ツールやPythonのグラフ機能を使いこなすツール利用力だけではなく、相手に伝えたいことが直感的に伝わるデザイン力も求められます。

見解力・伝える力

データ分析で得られた事実を元に洞察を行い、問に対して根拠のある答えを、相手に伝わる形で説明することができる力

もう少し具体的に説明すると以下のようなスキルになります。

  • 事実と見解を分けることができる
  • 論拠不足や論理破綻の指摘を理解できる
  • 事実から自らの洞察を生み出して意思決定内容を提言できる
  • 論理的なプレゼンができる(問い対して答えられる、根拠を答えられる)
  • プレゼンに対しての質問や反論に対して、説得力のある形で回答できる

いかに優れたデータ分析を行ったとしても、それが意思決定者や他の関係者に対して伝わらなければ全く意味がないと考えています。特に規模が大きくなってきた組織にとっては必要性が高い能力だと思っていますので重要視しているスキル項目の一つになります。

高度・多様な分析をする力

基礎的な統計から因果推論、データサイエンス(機械学習/画像解析/自然言語処理/数理最適化/シミュレーション)など多様で高度なデータ分析を行う力

Rettyでは施策の効果検証や、課題特定のための分析において、検定や因果推論が必要になるシーンが出てきます。その際に、想定する因果関係の言語化や、交絡因子への対処、目的に合わせた統計モデルの選択をする必要があるため、そのための知識を発揮する能力が求められます。

また、分析の目的よっては画像や自然言語を扱うこともあるため、各種データサイエンススキルも求められることがあります。

質的調査力

リサーチ実査から解析を行い、ユーザーさん/お客様のインサイト抽出や仮説検証を行う力

Rettyのデータアナリストは意思決定支援を目的に活動しています。そのため定量定性問わず、必要な分析を行う必要があるため、質的調査も定義に含めました。(詳細:どうして/どのようにRettyはUXリサーチをやり始めたのですか?|Masaya Hirano|note

具体的な内容としては、リサーチ設計(質問設計など)、ユーザーインタビューやユーザービリティテストなどのリサーチ実査、リサーチで得た質的データを各種リサーチ手法(KA法&KJ法など)で分析することが該当します。

エンジニアリング力

DWH設計・開発・保守・運用

一貫した設計のもと自立してDWH開発物をアウトプットする力DWHの設計を理解して、監視・修繕の対応をする力

RettyのDWHは3層構造(テータレイク/データウェアハウス/データマート)で設計しています。(詳しくはこちら)DWHをより便利に、長く使えるようにするためにも、日頃から新規のテーブル開発や既存テーブルの修繕が必要になります。

そして、このDWHの開発体制は、データアナリストが主体としています。その理由は、アナリティクスエンジニアの採用難易度が高いことが半分、もう半分はDWHを最もヘビーユーズするデータアナリスト自らが開発することで、より良いDWHが育つという思想を反映させている面もあります。(詳しくはこちら
従って、この項目をスキル定義に含めています。

ダッシュボード設計・開発・保守・運用

用途に適したダッシュボードを開発して提供する力ダッシュボードの用途を理解して監視・修繕の対応をする力

Rettyではダッシュボードを作成するためのBIツールにLookerを利用しています。(詳しくはこちら)LookerではLookMLという指標やディメンションを定義するための設定言語が用意されています。Rettyのデータアナリストは、LookMLでの指標とディメンションの定義から、ダッシュボード開発、ダッシュボードの保守運用を担っています。そのため、目的に沿ったダッシュボードの開発や、ステークホルダーの期待値に合った保守運用を行うことができる能力が求められます。

アプリケーション仕様の理解・発想力

データ分析・転送に関わるツールの仕様を理解して、用途や設計に活かせる力

これはログ基盤、データ転送基盤、データ分析基盤、BI基盤の4つの仕様を理解することで、自らの業務に活かす力を指しています。
アプリケーションの実装内容に対する理解は求めないものの、どのようなサービス仕様になっているかを把握しておくことは、問題が起きたときなどの影響範囲の発想に役立ちますし、効率的な利用に繋がると考えているためスキル定義に含めました。

導入の所感・課題

今回作成と一回目の運用を一通り回してみてメンバーからは次のようなフィードバックをもらいました。

Good
・時間は掛けたものの振り返りを強制的に取れるのがよかった
コンプラなどあまりやれてないものはヤバないと、自覚を持てた
・Qごとにどんな仕事に取り組んでスキルを伸ばせているか、逆かを認識することができた
・Rettyのアナリストとして求められていることがはっきりと伝わった
More
・項目の意図を完全に理解できないところもあったので、メンバー全員で運用→改善までできると当事者意識を持てていい
・各点数の基準値の理解が難しい

目的である理想像と現在地の把握に対してはまずまずの効果は出ていそうでした。一方で、理想像の背景や各点数に対する基準値の理解が課題になっていそうです。
これらは、今後メンバーと一緒に改善していければと思います。

おわりに

今回ご紹介したデータアナリストスキル定義とFB制度はまだ完成したばかりです。冒頭でも記載しましたが、メンバーや皆さんからフィードバックを受けてブラッシュアップできればと思っていますので、ぜひご感想やご意見いただけますと幸いです。

そして今記事では細かすぎるので割愛しましたが、データアナリストスキル定義は、中項目から更に小項目まで定義しています。(点数付けは中項目で行う)中項目だけでは抽象的すぎるため具体的なスキルセットを把握できる粒度感で定義しました。

細かい定義について、もしご興味のある方はMeetyしましょう!
進め方や作成のご相談や今回のアウトプットへのフィードバックしてくれる方も大歓迎です!ではまた!

meety.net