2026-10-23 戦略立案データ分析と統計

ビジネスに実験を。

実験と聞くと、どんなことを思い浮かべるでしょうか。物理学者が研究室で行うもの、あるいは企業の研究開発部門が新技術を開発するために行うもの。そんなイメージを持つ人も多いかもしれません。一方、ビジネスは決められた方針に従い、計画を着実に実行するものだと考える人もいるでしょう。仕事の進め方を変えることに対して、失敗したらどうするのか、現場を混乱させるだけではないか、といった懸念もあるはずです。しかし、新規事業を立ち上げる場面を考えてみてください。この商品なら顧客に受け入れられるのではないか、この価格なら購入してもらえるのではないか。そうした仮説を立て、市場に投入します。仮説を実際に試し、結果を確かめることも実験にほかなりません。技術や顧客ニーズが変化するなか、過去の成功体験がいつまでも通用するとは限りません。経験豊富な人の判断であっても、思い込みや見落としを完全に排除することは難しいものです。そこで、勘や経験を仮説の出発点とし、実際に試して得られたデータをもとに判断するという方法が考えられます。今回は、ビジネスにおける実験の考え方と、実験を組織のなかで機能させるための条件を見ていきます。

ビジネス実験はこれからの時代に欠かせない

ビジネス実験の目的は、実験そのものを行うことではありません。新しい商品やサービスを生み出し、業務プロセスを改善し、収益の拡大や企業価値の向上につなげることです。ところが、企業の意思決定に必要な情報が十分にそろっているとは限りません。市場調査のデータがあっても、自社の商品が実際に売れるかどうかは分からない。現場から改善案が出てきても、本当に生産性が上がるのかは実行してみなければ分かりません。経営者や管理者は、不確実な状況のなかで判断を迫られています。もちろん、経験や直感が無価値というわけではありません。経験を積んだからこそ気づける問題もあれば、データだけでは捉えにくい顧客の心理や現場の事情もあります。ただし、経験に基づく判断が常に正しいとは限りません。革新的なアイデアが、既存の常識に反することもあります。例えば、ある営業部門で、訪問件数を増やせば売上が伸びると考えられていたとします。しかし、実際には訪問件数よりも、事前の顧客分析や提案内容の質が受注率を左右しているかもしれません。訪問件数を増やす施策と、事前準備を充実させる施策を比較すれば、どちらが成果につながるのかを確かめられます。すべての経営判断を実験で解決できるわけではありません。市場全体への参入や大規模な設備投資など、簡単にはやり直せない意思決定もあります。それでも、小さく試せる部分を見つけ、結果を確かめてから投資を拡大することはできます。実験から得られるのは、成功か失敗かという結果だけではありません。何を変えれば、どのような結果が生まれるのか。そうした因果関係についての知識が蓄積されれば、次の施策を考える際の判断材料になります。

優れたビジネス実験の条件

何かを試して数字を集めれば、実験が成立するわけではありません。検証したいことが曖昧だったり、結果を見ても次の判断につながらなかったりすれば、時間や費用をかけても得られるものは限られます。実験を設計する際には、次の5つの点を押さえておきたいところです。

① 検証可能な仮説があるか
最初に考えるのは、何を確かめたいのかということです。例えば、「営業力を強化すれば売上が伸びる」という仮説では、何をすれば営業力が強化されたことになるのか、売上がどの程度伸びれば成功なのかが分かりません。一方、「初回商談の前に顧客の経営課題を分析し、提案内容を個別に設計すれば、従来の方法と比べて受注率が上がる」という仮説であれば、施策と測定対象が明確になります。対象とする顧客層や検証期間、目標とする改善幅まで定めれば、結果を評価しやすくなるでしょう。最初から正解を知っている必要はありません。間違っている可能性も含めて、検証できる形にすることが出発点です。

② 実験結果に従う意志があるか
実験を始める前に、結果をどう扱うのかを決めておく必要があります。経営者が新しい営業手法の導入を決めており、その効果を確認するために実験を行ったとします。期待した成果が得られなかったにもかかわらず、当初の方針を優先して導入を進めるのであれば、実験を行った意味は薄れてしまいます。どのような結果なら導入するのか、どのような場合は見送るのか。あらかじめ関係者間で合意しておくとよいでしょう。誰が最終判断を行うのかも明確にしておきます。実験で重要なのは、期待どおりの結果を出すことではありません。自分の予想と異なる結果であっても、意思決定に反映できることです。

③ 実験を実行できるか
仮説が明確でも、実験を適切に実施できなければ検証はできません。例えば、ある業務改善によって処理時間が10％短縮すると予測しても、対象業務の件数が少なすぎたり、実験期間中に繁忙期と閑散期が混在したりすれば、効果を正しく評価することは難しくなります。実験に必要なデータや期間、対象件数、現場の協力を事前に確認しておく必要があります。顧客対応や通常業務に大きな支障が出ないかという点も重要です。大規模な実験が優れているわけではありません。限られた資源のなかで、判断に必要な情報を得られる設計にすることが大切です。

④ 原因と結果を理解できる設計になっているか
実験で特に気をつけたいのが、結果の変化を施策の効果だと早合点してしまうことです。新しい営業手法を導入した月に売上が増えたとしても、それだけで施策が成功したとは言い切れません。市場全体の需要が増えていた可能性もあれば、大口案件が偶然成立した可能性もあります。施策の効果を確かめるには、施策を実施した場合と実施しなかった場合を比較するなど、ほかの要因による影響をできるだけ取り除く工夫が必要です。条件をそろえた比較が難しい場合には、実験前後の変化だけで効果を断定しないことも大切です。また、施策によって直接変化する指標と、最終的に実現したい成果は同じとは限りません。業務改善で作業時間が短くなっても、手戻りや不良品が増えていれば、全体として望ましい結果とは言えないでしょう。目先の指標だけでなく、その先の成果まで見通す必要があります。

⑤ 実験から価値を引き出せたか
実験は、期待どおりの結果が得られたときだけ価値があるわけではありません。仮説が支持されなかった場合でも、なぜ効果が出なかったのかを検討することで、新たな知見が得られることがあります。対象とした顧客層が適切ではなかったのか、施策の実施方法に問題があったのか、そもそも想定した原因が結果を左右していなかったのか。結果を掘り下げれば、次に検証すべきことが見えてきます。ただし、何でも学びになったと解釈してしまうのも問題です。実験の目的から離れた発見に満足し、当初の問いに答えないまま終わってしまうこともあるからです。実験の終了後には、当初の仮説に対する答えと、そこから得られた新しい課題を整理しておきましょう。その積み重ねが、組織の判断力を高めていきます。

企業の実験の事例

Microsoft Bing：広告表示の変更が年間1億ドル超の増収効果に

2012年、Microsoftの検索エンジンBingでは、広告の見出し表示を変更する実験が行われました。従来は広告の見出しと、その下に表示される説明文が別々の行に配置されていました。そこで、説明文の冒頭部分を見出しにつなげ、見出しを長く表示すれば、広告の成果を高められるのではないかという仮説を立てました。この案は当初、多くの改善案のなかで優先順位が低く、半年以上保留されていました。しかし、実装に必要な工数が数日程度と見込まれたことから、担当エンジニアがA/Bテストを実施。従来の表示方法を見せるユーザー群と、新しい表示方法を見せるユーザー群を比較し、収益への影響を測定しました。新しい表示方法によって収益が約12％増加し、米国だけで年間1億ドルを超える増収効果が見込まれました。小さな表示変更であっても、事業規模が大きければ、経営へのインパクトも大きくなります。この事例が示しているのは、実験に必ずしも大きな投資が必要なわけではないということです。比較的少ない工数で仮説を検証し、結果をもとに判断する。そうした取り組みが、大きな成果につながることがあります。

参考：https://www.kdnuggets.com/2020/04/trustworthy-online-controlled-experiments-book.html

実験の実例：段取り替えの改善は本当に生産性を高めるのか

ここでは、実験の進め方を説明するため、製造業の仮想事例を考えてみます。ある機械部品メーカーA社では、多品種少量生産への対応に伴い、段取り替えの頻度が増加していました。現場からは、段取り替えの手順書を整備すれば作業時間を短縮できるという意見が出ていました。一方、熟練作業者からは、製品ごとに条件が異なるため、手順書だけでは効果がないという反論もありました。そこで、A社は次の仮説を立てました。

「段取り替えの手順を標準化し、工具や治具を事前に準備することで、段取り替え時間を平均20％短縮できる」

まず、段取り替え時間を「前の製品の加工終了から、次の製品の良品が生産されるまで」と定義しました。そのうえで、製品構成や作業者の熟練度、生産設備などの条件が近いラインを選び、一方では新しい手順を導入し、もう一方では従来の方法を継続して比較することにしました。実験期間は4週間とし、段取り替えの実施回数や製品構成の違いも記録します。実験の結果、段取り替え時間は実験ラインで平均18％短縮され、比較ラインではほぼ変化しませんでした。ただし、実験ラインでは事前準備に時間を要し、作業者の負荷も一部増加していました。さらに、段取り替え時間は短縮したものの、工場全体の生産量は想定ほど増加しませんでした。原因を調べると、後続工程がボトルネックとなり、設備の稼働時間を増やしても完成品の生産量が増えなかったことが分かりました。A社は、段取り替えの標準化には効果があると判断し、まず段取り替えの頻度が高い製品群に対象を絞って展開することにしました。一方、全ラインへの一斉導入は見送り、後続工程の能力改善と合わせて再検証することにしました。この事例で重要なのは、段取り替え時間が短縮したという結果だけではありません。個別工程の改善が、工場全体の生産量や収益に直結するとは限らないことも明らかになりました。実験を通じて改善策の効果を確かめると同時に、その効果を制約する要因も特定できたのです。

終わりに