2026年8月25日、Cafe Compute Meetup: Tokyoに参加しました。Cerebras Inferenceの速さを実際に触りながら、速いモデルと時間をかけて考えるモデルでは、使い方や体験がどう変わるのかを試しました。
高速推論を、用途の違いとして見る
速さを数字だけで終わらせず、同じお題へ異なる考え方で答える体験にするため、イベントに合わせて「AI 64対1」を制作しました。Cerebras上のgpt-oss-120bは4並列で64件を生成し、gpt-5.6-solはローカルのCodex App Serverを通じて、一つの回答を高い推論強度で作ります。
最初の回答が届くまでの時間と、すべての生成が終わるまでの時間を表示し、64の速答と一つの熟考を同じ画面で見比べられるようにしました。
回答だけで見分ける
生成後は、Cerebrasの64回答から発想の異なる7件を選び、Solの1件と混ぜた匿名8択を作ります。モデル名や生成時間を伏せ、回答だけを読んで熟考した一件を選べます。
別のAIモデルにも同じ比較を渡せるよう、65回答を匿名化した問題JSONと、生成元を記録した答えJSONを分けて出力します。評価前のデータにはモデル名、人格、生成時間を含めず、回答内容だけで判断できるようにしています。
実生成と公開リプレイを分ける
実生成版は、利用者自身のCerebras APIキーと、ChatGPTへログイン済みのCodex CLIをローカルで使用します。APIキーとCodexの認証情報を公開環境へ置かず、両モデルへ同じお題を送ります。
公開リプレイでは、実APIで取得した3題の結果を再生します。外部APIや秘密情報を使わず、生成の進み方、匿名8択、AI向け65択をブラウザから体験できる形にしています。
