人事施策の効果測定
16 4月 2024
因果関係の把握
一般的によくある効果測定の手法は、前後比較です。例えば、若手営業職に対する研修を実施し、研修前後の半年間で、営業実績・顧客満足度を比較する等のケースはよく見られます。しかし、仮に営業成績が一見上がっていたとしても、それが時間の経過(業務への慣れや社内ネットワークの構築等の他の要因)により改善した可能性が大いに考えられます。その施策による効果なのか(因果関係)、その他の要因の影響なのか(相関関係)は分からない状態です。
因果関係を読み解く最良のやり方は、ランダム化比較実験(Randomized Controlled Trial: RCT)と呼ばれており、ビジネスの分野ではA/Bテストという名で多用されています。ポイントはランダム化にあり、一定のサンプルサイズさえあれば、2つのグループを統計的に同質な集団とみなせるメリットがあります。仮に見えない要因(前述した業務への慣れなど)がある場合においても、ランダム化をすることで、その要因の影響を消し去ることが可能となります。
事例: 在宅勤務の導入実験
ランダム化比較実験の難しさ
しかしながら、人事施策の効果検証にランダム化比較実験を導入することは、現実的に難しい面もあります。企業の多くは、内部公平性の観点から特定の社員に限り施策を行うことに抵抗感があるでしょう。また倫理性の観点からも、個人のキャリアに影響を与えうる出来事を実験対象とすることに違和感を覚えるかもしれません。
こうした問題に対する一つの考え方として、施策をランダムに行う代わりに、施策の「順番」をランダム化する考え方があります。例えば、全国に複数の拠点がある企業において、刷新した企業理念やミッションの浸透施策として、経営陣が全国事業所を1年かけて回り、各拠点でタウンホールミーティングを行うケースがあります。この一連の拠点訪問の途中で、理念浸透度を測定することで、施策が実施された拠点/実施されていない拠点がランダムに分かれる状況を作り出すことができます。
自然実験・疑似実験的アプロ―チ
回帰不連続デザイン(Regression Discontinuity Design: RDD)
施策のルールに明確な閾値が設定されている場合に、その境界線に近いグループを比べる方法論です。例えば、社員のリスキリングの一環として、英語のトレーニングプログラムを提供する際に、その対象者をTOEIC700点以上の社員に限定する場合などが考えられます。
ルールの閾値付近の社員(ほんの少し700点を下回ったグループと、ほんの少し上回ったグループ)は、施策の有無以外に英語力に影響を与える大きな要因はなく、概ね同質なグループと考えられます。この両者の英語力を施策の前後で比べることで、施策の効果を測定します。
分析のイメージ
グラフ上の直線は、比較対象である700点付近の社員の得点傾向を示しています。各グループ共に、元々のTOEIC得点が高い人ほど、新たに受験した試験の得点は高くなります。注目すべきは、施策の対象となる人事情報TOEIC700点の境界で非連続的なジャンプが起きている点です。700点を境にこのような変化が起こることは不自然であり、この変化が施策の効果と考えられます。
以上、本コラムでは人事施策の因果関係を探るための基本的な枠組みを取り上げました。最初は労力や時間の面から躊躇するかもしれませんが、施策の重要度によっては、今後は実験デザインや自然実験のアプローチを視野に入れた設計が必要となっていくと考えます。