品質
結果のテスト方法
結果を表示する前と毎回の実行後に何を確認しているか、現在のコードが行っているとおりに説明します。このページの数値は、ページの読み込み時にテストデータから読み取っています。
サンプル結果は二重にチェック
多くのツールページには「サンプル結果」があります。例の入力に対してツール自身のプロンプトが出した実際の出力を、一度だけ生成して保存したものです。公開前に二つのチェックを通ります。
- 自動チェックでは、短すぎる出力、拒否したり追加の入力を求めたりする出力、言語が違う出力、途中で切れているように見える出力、プロンプトが漏れている出力、テンプレートのプレースホルダーが残っている出力を除外します。
- 次に AI レビュアーが残りを有用性、言語、完全性、安全性で採点し、低いものを除外します。
18 言語で 4169 件のサンプル結果を公開しています。直近のチェックでは 3795 件の新しい出力を審査し、そのうち 568 件を除外しました。
毎回の実行後のチェック
- 文章作成ツールが回答すると、二回目の AI 呼び出しを使わない固定のチェックが “Certainly! Here is your post:” のようなアシスタントの前置きや結びの一文を取り除き、英語のテキストに残ったリスト掲載の 15 種類の AI 定型表現を記録します。
- 「出典付きでファクトチェック」スイッチのある文章作成ツールは、テーマをウェブで一度検索し、使った情報を [1]、[2] として引用し、最後に出典を一覧にします。出典のない主張には「(未確認)」と表示され、リンクを作り出すことは許されません。
ツールごとに最適なモデル
Conductor は各ツールを 6 のモデルファミリー(Claude, GPT, Gemini, Cerebras, Grok, Mistral)のいずれかに送り、プロバイダーに障害があれば別のファミリーに切り替えます。すべての結果に、書いたファミリーが表示されます。
すべての変更はリリース前にテスト
変更がサイトに反映されるのは、自動ゲート(コードチェック、契約テスト、全 18 言語の翻訳カバレッジ、シークレットスキャン)を通過したプルリクエストだけです。リリースのたびに、本番サイトに対してブラウザーのテストスイートが実行されます。
テストでも約束できないこと
AI は間違えることがあります。事実、数値、法律・医療・金融に関する記述は、頼る前に確認してください。