AI導入の効果、どう測る？ PR19%増・週2〜3時間削減の裏にある視点 ── 海の向こうからオピニオン その196

アトラシアン本社の情報サイト『Inside Atlassian』より。シニアデータサイエンティストのロビー・ゲイガン（Robbie Geoghegan）とプリンシパルデータサイエンティストのファン・ジャン（Fan Jiang）が、Rovo Devの社内導入データをもとに、AIネイティブなSDLCにおけるAI活用の成果を「利用量」ではなく「生産性インパクト」で測定・管理するためのアプローチを解説する。

AIネイティブなSDLCを軸に、ソフトウェア開発を根本から再構想する

AIは今やソフトウェア開発の中核を担っている。開発者の93%がAIツールを利用し、コードの約30%はAIが生成したものである*1*。コード生成は、開発者にとってAI活用の最初の大きな成功事例となった。しかし、話はそこで終わらない。次なる展開は、ソフトウェア開発ライフサイクル（SDLC）のあらゆる工程 ── 計画（Plan）、統合管理（Orchestrate）、実装（Code）、レビュー（Review）、運用（Operate）── にAIを組み込むことである。それを実現するには、AIネイティブな新たなSDLCを中心にソフトウェア開発を根本から再構想し、AIがもたらす効果を的確にとらえる新しい指標体系を構築しなければならない。

本稿では、この変革のうち現時点で最も確かなデータが得られている領域（Rovo Devにおけるコーディングとレビューの工程）に焦点を当てる。プルリクエスト（PR）の処理量と開発者の時間削減効果を主な指標として分析を進める。

開発者の役割は、すでに変わり始めている

アトラシアンの開発者体験の現状（State of Developer Experience）レポート*2は、開発者の役割がいかに急速に変化しているかを示している。2024年の時点では、AIによって時間を節約できたと回答した開発者はわずか38%にとどまっていた。ところが2025年には、99%の開発者が「毎週、実感できるレベルで時間を節約できている」と答え、その浮いた時間をコード品質の向上やエンジニアリング文化の醸成、ドキュメント整備など、コードを取り巻くシステム全体の改善に充てていることがわかった。

しかし、AIが実装（コーディング）工程を加速させるほど、その前後に控える工程のボトルネックはかえって目立つようになる。明確な計画立案、質の高いコードレビュー、テスト、ドキュメント、運用 ── これらの重要性は、AIエージェントが生成するアウトプットの量が増え続ける中でむしろ高まっている。開発者にとっての生産性の課題は、もはや「いかに速くコードを書くか」ではない。SDLCを貫く業務システム全体を、いかにうまく統合管理（オーケストレーション）できるかが問われているのである。

次なるステージ：SDLCのあらゆる工程にエージェントを

次に来るのは、コード生成だけでなく、SDLCのあらゆる工程でAIが本質的な仕事を担う世界である。私たちは、すべての工程でエージェントが人間のパートナーとなると考えている。

これらを総合すると、SDLCはもはや人間が順番に引き継ぐ一方通行のパイプラインではなくなる。すべての工程に「エージェントが実行し、人間がレビューする」独自のループが組み込まれるのである。開発者の生産性は、人間とエージェントで構成されるチーム全体がいかにうまく連携できるかによって決まるようになる。

AIネイティブなSDLCにおける生産性の測り方

AIはあらゆる場所に浸透した。だが、生産性は本当に上がっているのか？

SDLCにこれだけの変化が押し寄せる中、AIには「測定の問題」がつきまとっている。ほぼすべてのエンジニアリング組織が、チームのAI利用状況やトークン消費量を追跡するダッシュボードを持っている。しかし、AIによる生産性向上を追跡するダッシュボードを持っている組織はほとんどない。

AIはアウトプットを素早く生み出すことで、一見すると生産性が上がったかのように見せることができる。しかし、そのアウトプットの品質が低かったり、スコープの定義が不十分だったり、文脈が欠落していたりすれば、初期の生産性向上はレビューでの手戻り、リファクタリング、テスト、保守に食い潰されてしまう。AIが真価を発揮するのは、組織がまず自らの業務システムを理解したときである。仕事がどう流れ、チームがどのツールに依存し、データや知識がどこに存在するのかを把握してはじめて、AIは実質的なレバレッジを生み出せる。

これは新しい問題ではない。1987年、ノーベル賞経済学者ロバート・ソローは「コンピュータ時代はあらゆるところで見られるが、生産性統計には現れない」と書いた。後に生産性パラドックス*3と呼ばれるようになったこの現象は、1970年代から1980年代にかけての莫大なIT投資が、1990年代に入るまで米国経済の生産性向上に結びつかなかったことを指している。

AIが開発者の生産性にもたらす効果を、どう測るか？

今日、エンジニアリングリーダーたちはAIについても同様の問いを投げかけている。AIツールには生産性向上の大きな可能性があるが、その効果をどう測定し、投資に見合う価値があるかどうかをどう判断すればよいのだろうか？

アトラシアンでは、お客様に向けてこの問いに答える一助となりたいと考えた。そこで、社内のRovo Devコホートを使って検証を行った。AIネイティブなSDLCを導入する際、お客様はどの指標に着目すべきか、そして実際に生産性の向上が見られるのか、この2つを確かめるためである。

チームがAIから本当に価値を得ているかどうかを示す指標は、4つの側面に集約される。スピード、効率性、品質、そして満足度である。これらを組み合わせることで、何がリリースされたか、どれだけ時間がかかったか、それがどれだけ堅牢か、そして開発者がツールについてどう感じているか、を包括的に捉えることができる。これらの指標は、AIネイティブなSDLCを測定するための的を絞った土台を提供するものであり、DX AI Measurement Framework*4を参考にしている。

最初の2つの指標（スピードと効率性）は最も測定しやすく、本ブログが焦点を当てるのもこの2つである。AIネイティブなSDLCによる生産性向上が最初に表れるのがこの領域であり、現時点で最もクリーンなデータを共有できる部分でもある。品質と満足度は次に取り組む予定だ。適切に測定するにはより長い時間を要するが、その重要性はスピードや効率性と同等である。

スピード：チームはPRマージ数が19%増加

AIがSDLCを改善する最も明確な方法のひとつは、チームがより多くの成果物を本番環境にリリースできるようにすること（すなわちPRスループットの向上）である。AIが真の生産性向上を生み出しているのであれば、AIを導入したチームでマージされるPR数が持続的に増加するのが見えるはずだ。

Rovo DevがPRスループットに変化をもたらしているかどうかを判断するため、3,400のリポジトリを分析した。

2,500社の顧客から3,400のリポジトリをサンプリングし、Rovo Devを導入したリポジトリでPRスループットに変化が見られるかどうかを検証した。サンプルは、Rovo Devを導入したリポジトリ（テストグループ）と、導入していないリポジトリ（コントロールグループ）で構成されている。

チームをRovo Dev利用群と非利用群にランダムに割り当てることはできなかったため、準実験*5の手法を用いた。テストグループについて導入前後のPRスループットを比較し、その変化をコントロールグループの類似リポジトリと照らし合わせた。

これにより、Rovo Devの導入がマージされたPR数の統計的に有意な増加と関連しているかどうかを判定した。比較を公平なものにするため、傾向スコアマッチング*6も併用した。この手法により、Rovo Devを導入したすべてのリポジトリを、類似する非導入リポジトリとマッチングし、条件を揃えた比較（apples to applesの比較）を可能にした。これにより、急成長中のチームとPR活動が減速中のチームを比較してしまうような、もともと異なる軌道にあるリポジトリ同士を比較するリスクを回避している。

Rovo Devの導入により、リポジトリあたりのマージされたPR数が19%増加することがわかった

PRスループット分析の主要な結果として、Rovo Devを導入したリポジトリは、導入していない類似リポジトリと比較して、月あたりのプルリクエストマージ数が19%多いことが判明した。

さまざまなベースライン活動レベルにわたり、Rovo Devを導入したリポジトリでは月あたり3〜5件多くPRがマージされていた。相対的な増加率が最も大きかったのは、低・中活動レベルのリポジトリ（月5〜9件および月10〜19件）であり、PRスループットが37%〜51%向上した。この増加はすべてのリポジトリ活動レベルにおいて統計的に有意であった。

効果が最も大きかったのは、リポジトリ内の複数のユーザーがRovo Devを導入した場合である。低・中ボリュームのリポジトリでは、3〜5人のユーザーがRovo Devを導入した場合にPRスループットが59〜87%増加しており、これはRovo Devユーザーが2人のリポジトリで見られた増加のおよそ2倍にあたる。このことは、導入がチーム全体に広がるにつれてRovo Devのインパクトが拡大することを示唆している。Rovo Devは単なる個人の生産性ツールではなく、チームの生産性を向上させる手段なのだ。

効率性：開発者は週2〜3時間を節約

AIがSDLCを改善すべきもうひとつの領域は、開発者の日々の業務全体で時間を取り戻すこと（すなわち、週あたりの節約時間）である。AIが真の生産性向上を生み出しているのであれば、AIを導入した開発者が毎週意味のある時間を節約できることが期待される。

6,200人以上のアトラシアン開発者を対象に、AIコードアシスタントによってどれだけの時間を節約できているかを調査した

AIコーディングエージェントによる時間節約を把握するため、6,200人以上のアトラシアン開発者を対象に「AIコードアシスタントのおかげで、平均して週にどれくらいの時間を節約できていますか？」と調査した。アトラシアン開発者のコホートのうち96%がRovo Devのユーザーであったため、AIコードアシスタントとしてRovo Devを使用した場合のインパクトを測定することができた。時間節約はさまざまな開発タスクにわたって現れうるため、この調査は生産性のより広範な全体像を捉えるシンプルな方法となった。自己申告データはインパクトを過大評価する可能性があるため、平均値ではなく20パーセンタイルの節約時間を保守的な推定値として使用した。

Rovo Devにより、開発者の時間が週2〜3時間節約されることがわかった

Rovo Devを使用している調査対象の開発者は、コーディングおよびレビュータスクにおいて週2〜4時間を節約していると報告した。これは、開発者が週40時間のうちこれらのタスクに通常費やす24時間の約10%に相当する（業界基準*7）。社内では、開発者1人あたり週平均2.15件のRovo Devアシスト付きマージPR（レビューまたはコーディングをRovo Devが支援したPR）があることがわかった。一方、顧客では週平均1.59件のRovo Devアシスト付きマージPRであった。社内の自己申告による時間節約を、利用頻度に基づいて外部顧客向けに標準化すると、Rovo Devは平均して週2〜3時間の開発者時間を節約すると見込まれる。

10人のチームに換算すると、週20〜30時間がより価値の高い業務（設計判断、デバッグ、コラボレーション、コード品質の向上）に再投資できることになる。

社内開発者の自己申告による時間節約 – 2026年3月

わかったことと、次のステップ

この分析から得られた最大の知見は、新しいAIネイティブなSDLCにおけるAIの価値は測定・管理可能であるということだ。AIによる生産性向上を測定したいエンジニアリングマネージャーにとって、これは利用ベースの指標（例：アクティブユーザー数、トークン消費量）から、開発者の生産性へのインパクト指標（例：PRスループット、節約時間）へと焦点を移すことを意味する。これはDX AI Measurement Frameworkなどのフレームワークとも一致している。課題は、開発者にAIを使わせることではない。AI導入を測定可能な生産性に変えることだ。

これが、ソローの生産性パラドックスの現代版に対する私たちの答えだ。AIはあらゆる場所に存在している。しかし、それは生産性の指標に表れているのか？ 私たちの分析では、表れている。Rovo Devを導入したチームは、より多くのコードを出荷し、毎週数時間を取り戻している。

まだ測定すべきことは残っている。方向性として、Rovo Devユーザーの品質と満足度は安定しているように見えるが、次のステップは、スピードと効率で行ったのと同様に、その両方に厳密な測定基準を設けることだ。そうして初めて、AIネイティブなSDLCの導入が組織に十分な価値をもたらしているかどうかを確認できる。

AIネイティブなSDLCは、エージェントが適切なコンテキストを持つことでより強力になる。アトラシアンではこれにより大きな成果を得ている。Atlassian Teamwork GraphがSDLC全体にわたる共有コンテキストレイヤーを提供し、より関連性が高く、有用で、信頼性のあるアウトプットを生み出している。Teamwork Graphによって強化されたAIは、44%高い精度の結果を、48%少ないトークンで実現した。

AIネイティブなSDLCツールは複数存在するが、アトラシアン社内のエンジニアリング組織はRovo Devのヘビーユーザーであり、顧客と比較して週あたり1.35倍多くのRovo Devアシスト付きプルリクエストをマージしている。ヘビーユーザーであることで、顧客にとってより良い製品にするための緊密なフィードバックループが生まれている。

エンジニアリングチームへのRovo Dev導入を検討しているなら、このデータに基づく私たちの推奨は、個人ではなくチーム単位で始めることだ。3〜5名のエンジニアが積極的に製品を使用するリポジトリを選ぼう。導入から2〜3か月後にスループットと時間削減を測定し、目新しさの効果が薄れた後も成果が持続していることを確認しよう。

Rovo Devの詳細はこちら