アトラシアン本社の情報サイト『Inside Atlassian』より。Teamwork Lab 責任者のモリー・サンズ(Dr. Molly Sands)が、生成AIによる体裁の仕上げ(AIポリッシュ)が初期ドラフトのレビューや欠陥の発見に及ぼす影響と、有意義なフィードバックを引き出すためのシンプルな対策について解説する。

アトラシアン本社の情報サイト『Inside Atlassian』より。Teamwork Lab 責任者のモリー・サンズ(Dr. Molly Sands)が、生成AIによる体裁の仕上げ(AIポリッシュ)が初期ドラフトのレビューや欠陥の発見に及ぼす影響と、有意義なフィードバックを引き出すためのシンプルな対策について解説する。

本稿の要約を10秒で

  • AIで整えた文書は完成度が高く見え、根本的な欠陥が見落とされやすくなる点に留意することが大切。
  • 「初期ドラフト」と明記して共有すれば、注いだ労力の高評価を保ちつつ率直な批評を引き出せる。
  • 深い意見が欲しい時は未加工、手短な確認ならAI清書と、目的に応じて柔軟に使い分けていくとよい。
  • 若手ほどAIの体裁に惑わされやすいため、チーム全体でこの心理的盲点を意識して共有することが重要。

AIを使えば、粗削りなメモを読みやすく整った文書へすばやく変換できる。これで仕事は完了だろうか。そうとも言い切れない。アトラシアンのTeamwork Labは、プロが書いたように見せるこの外見、私たちが「AIポリッシュ(AIによる体裁の仕上げ)」と呼ぶものが、根本的な欠点の発見やフィードバックを難しくしているのではないかと考え、検証を行った。

私たちが知りたかったのは次の点だ。AIポリッシュは、初期ドラフトの問題点の発見を難しくしてしまうのか。そして、この盲点をどう解消すればよいのだろうか。

調査の概要

実施内容:

  • 対照実験において、903名のナレッジワーカー(知識労働者)を対象に、2つの根本的な欠陥を含む提案書のドラフトを評価してもらった。
  • レビュアーには、3つのバージョンのドラフト(AIポリッシュなし、ラベルなしのAIポリッシュあり、「初期ドラフト」ラベル付きのAIポリッシュあり)のいずれか1つを評価してもらった。

判明したこと:

  • AIポリッシュを施すと、レビュアーが欠点に気づく割合が大幅に減少し、批判的なフィードバックを出す意欲も低下した。
  • シンプルな「初期ドラフト」ラベルを付けるだけで、相手に伝わる熱量や労力の印象を損なうことなく、この悪影響をほぼ完全に打ち消せる。
  • 年齢や経験が自然な防壁として機能する。ジェネレーションX(Gen X)や管理職層は、AIポリッシュの影響をほとんど受けなかった。

AIポリッシュは、警戒心を解かせる強力な心理的シグナルとなる

誤字や略語が残った文書を提示することは、読み手の集中を削ぎ、プロフェッショナルらしさに欠ける印象を与える。しかし、Teamwork Labの研究者たちは、こうした粗削りな部分こそが「より慎重にレビューする必要がある」という潜在的なシグナルとして読み手に伝わっているのではないか、という仮説を立てた。

この前提を検証するため、Teamwork Labは対照実験を実施した。ITチケット(問い合わせ対応件数)の削減を目的とした提案書のドラフトを用意し、903名のレビュアーに評価を依頼した。ドラフトには、読み手が発見できるよう、意図的に2つの根本的な欠陥を盛り込んだ。

1つ目の欠陥は、社内定着に向けた戦略が含まれていない点だ。セルフヘルプ用の情報拠点を構築する提案でありながら、従業員をそこへ誘導する手段が記載されていなかった。2つ目の欠陥は、本来の目的であるITチケットの削減ではなく、ウェブサイトのアクセス数を成功指標として測定していた点である。

研究チームは参加者を無作為に3つのグループに分け、それぞれ異なるバージョン(仕上げ前のドラフト、AIポリッシュ済み、「初期ドラフト」ラベル付きのAIポリッシュ済み)の提案書を配布した。その後、参加者には提案書そのものと、それを送ってきた同僚の双方を評価する質問に回答してもらった。

全体として、AIポリッシュを施した文書はレビューが難しくなった:

  • 見落とされる欠陥が増加:レビュアーが1つ目の欠陥を指摘する確率は22%低くなり、2つ目の欠陥に気づく確率も15%低くなった。
  • 読むための労力が増加:レビュアーはレビューに62%多くの時間を費やし、読む速度は31%低下した。
  • フィードバックが減少:レビュアーがフィードバックを提供する意欲は18%低下した。

AIポリッシュとは何か?

生成AIツールを用いて、文法の修正や書式の整形、平易な言葉から洗練されたビジネス表現への言い換えなどを行い、粗削りなメモを一瞬で見栄えのよいプロフェッショナルな文書へと仕立て上げることを指す。

一方で、その影響は完全に否定的なものばかりではなかった。きれいに整えられたドラフトは、作業がすでに「完了している」という印象を与える。今回の調査では、AIポリッシュを用いた場合、以下の点が明らかになった。

  • レビュアーが「作成者は多大な労力を費やした」と評価する確率は1.7倍高くなった。
  • また、ドラフトの完成度が極めて高いと評価する確率は2.5倍高くなった。

「初期ドラフト」ラベルがAIポリッシュの影響を解消し、かけた労力の評価も高める

幸いなことに、的確な批評を得るために、初期の提案書にあえて誤字を紛れ込ませる必要はない。AIポリッシュを施したドラフトであっても、シンプルな注意喚起の表示(今回の実験では「ステータス:初期ドラフト」)を添えて明確にフィードバックを求めることで、AIポリッシュによる悪影響をほぼ完全に打ち消すことができる。

極めて重要なのは、初期段階である旨を表示しても、労力に対する高い評価が維持された点だ。「初期ドラフト」と明記されたAIポリッシュ済みの文書を見たレビュアーは、作成者が多大な労力を費やしたと依然として評価している。

AIポリッシュ済みの文書に「初期ドラフト」ラベルを添えることで、労力への高評価を維持したまま、欠陥の発見率やフィードバック意欲が本来の水準へ回復することを示した比較グラフ。

  • ラベルを付けることで「完成している」という印象は37%から21%へと低下し、批判的なフィードバックを出す意欲はベースライン(基準値)の水準まで回復した。
  • 初期の注意喚起を添えたAIポリッシュ済みのドラフトでは、多大な労力を費やしたという評価がより高くなり(64%に対して69%)、ラベルの存在がかえって費やした労力の印象を高めることを示唆している。

注目すべき点として、年齢層の高い従業員と管理職は、いずれもAIポリッシュの影響をほとんど受けなかった。彼らの経験が防壁として機能し、AIポリッシュの有無にかかわらず欠陥を発見できた。

  • ジェネレーションZ(Gen Z)や若手・新入社員層では、欠陥の発見率が急激に低下した。
  • 一方で、ジェネレーションX(Gen X)や管理職層においては、AIポリッシュによる欠陥発見率の顕著な変化は見られなかった。

「体裁を整えることは労力を伝える一方で、間違いを見落としやすくもしてしまう。解決策は簡単だ。ドラフトの体裁を整えたうえで、まだ初期段階であると周囲に伝えることだ。そうすれば、有意義なフィードバックを得る機会を逃すことなく、かけた労力への評価も得られる」

── アトラシアン Teamwork Lab シニア・ワークプレイス・リサーチャー モーガン・ウィービング(Morgan Weaving)

結論:有益なフィードバックを得るには、初期ドラフトに注意書きを添えること

生成AIツールは、便利なデジタル校正者として役立つ。だが、最良の成果を得るには適切に使い分ける必要がある。有意義なフィードバックを求めるなら、仕上げ前のバージョンを送るほうが同僚にとってもすばやく読めて反応しやすい。一方で、手短な確認を求めつつ、批判的な意見をそれほど必要としていない場合は、AIポリッシュが労力のシグナルとなり、「初期ドラフト」ラベルを添えることで悪影響をほぼ無効化できる。

中堅やベテランの従業員はAIポリッシュに惑わされにくいが、すべてのチームメンバーがその影響を認識しておく価値がある。初期ドラフトにラベルを付けることは、後々生じるより深刻な問題を未然に防ぐ、シンプルなワークフローの追加策となる。

調査手法:

AIポリッシュが根本的な欠陥の発見能力に与える影響を評価するため、アトラシアンのTeamwork Labはフルタイムのナレッジワーカー950名を募集した。不審な回答を除外した903名を対象に、3つの条件(AIポリッシュなしの提案書、AIポリッシュありの提案書、注意ラベル付きのAIポリッシュありの提案書)で分析を実施した。

提案書はITサポートチケットの削減に関するものであり、意図的な2つの欠陥(定着戦略の欠如、およびチケット削減ではなくウェブサイトのアクセス数を成功指標としている点)を含んでいた。

本調査では、欠陥の発見率、閲覧および執筆時間、批判的フィードバックの提供意欲、費やされた労力の評価、完成度の評価を測定した。自由記述形式の回答はすべてLLM(大規模言語モデル)を用いて分類・集計した。また、参加者を年齢層(30歳未満のGen Z、30〜45歳のミレニアル世代、46歳以上のGen X+)および組織内の役職レベル(一般社員層、およびマネージャー/リーダー層)で分類した。