スクリーンショットについてAIに質問する方法

スクリーンショットは、何かを手早く残しておくための最も手軽な方法です。競合サービスの料金表、フライトの予約確認、1日で消えてしまうストーリーのレシピ、エラーメッセージ、ウェビナーのスライド、後で思い出したいメッセージのやり取りなど、様々な場面で使われます。しかしそれらは、愛犬の写真の間に埋もれてスマートフォンのカメラロールにたまっていったり、デスクトップ上に「スクリーンショット 2026-03-14 09.12.47.png」といった名前のファイルとして散らかりがちです。

このガイドでは、人々が普段どのようにスクリーンショットから情報を取り出しているのか、どこで手間取ってしまうのか、そしてAIアシスタントが画像内のテキストや視覚コンテンツを使って質問に回答できるように、Fabricでスクリーンショットを収集・活用する方法について解説します。

スクリーンショットから情報を探す一般的な方法とその課題

スマートフォンで撮ったスクリーンショットの大半は、カメラロールに入ったままになります。写真アプリがスクリーンショットアルバムにまとめてくれたり、最新バージョンであれば画像内のテキストを一部認識できたりします。それでも目的の画像を見つけるにはスクロールし続ける必要があり、複数のスクリーンショットを横断した情報が必要な質問（例：「これら5つの料金ページのうち、最も安い年間プランはどれ？」）に答えるには、1枚ずつ開いて目視で比較しなければなりません。

パソコンの場合、スクリーンショットはデスクトップや特定のフォルダに保存されます。重要なファイルの名前を変更する人もいますが、それも忘れずに行えればの話です。MacやWindowsのファイル検索はファイル名には強く一致しますが、画像内のテキスト検索に関してはあまり信頼性が高くありません。

ChatGPTやClaudeにスクリーンショットをアップロードして質問する方法は、1〜2枚程度ならうまく機能します。しかし、大量の画像コレクションを横断して質問したい場合は、まず各画像を探し出して添付する必要がある上、回答もそのチャット内に留まってしまうため難しくなります。

競合他社をリサーチしているデザイナーや創業者などは、この問題を特に痛感することが多いでしょう。検索する手段のないまま保存されたスクリーンショットのフォルダは、次第に見返されなくなってしまう資料の山と化します。写真の内容で検索する方法では、より広い画像の課題について解説しています。

ステップ1：Fabricにスクリーンショットを取り込む

iOSとAndroidでは、Fabricがスクリーンショットを自動的にインポートできるため、特別な操作をしなくても新しいスクリーンショットがライブラリに届きます。過去のスクリーンショットを取り込む場合は、写真アプリで選択し、「共有」をタップしてFabricを選びます。アプリはモバイルダウンロードページから入手可能です。

ブラウジング中は、Chrome、Safari、Firefox向けのブラウザ拡張機能を使ってページのスクリーンショットを撮影し、Fabricに直接保存できます。パソコンに既にあるスクリーンショットは、ドラッグ＆ドロップ、貼り付け、または大量のファイルを一括で処理できる「ファイルをアップロード」から追加できます。

保存したアイテムには、コメントやタグを追加できます。「オンボーディング画面のレイアウトのアイデア」など、用途がひと目で分からないスクリーンショットに短いコメントを添えておくと、画像単体では伝わらないコンテキストをアシスタントに提供できます。

ステップ2：Fabricにテキストと画像を読み取らせる

各スクリーンショットは追加されるとすぐに処理されます。Fabricは画像内のテキストを読み取り、視覚的に何が写っているかを把握し、使われている色を抽出します。さらに、簡単な要約を作成し、コンテンツの種類やトピックを抽出し、タグを提案します。仕組みの詳細は画像認識のページをご覧ください。

これらの処理を行うために、ファイル名を変更したり分類したりする必要はありません。ホテルの予約確認のスクリーンショットなら、ホテル名、記載されている日付、あるいは「青いヘッダーの予約確認」といった説明からでも見つけられるようになります。

ステップ3：一連のスクリーンショットについてアシスタントに質問する

「競合の料金プラン」や「リスボン旅行」など、関連するスクリーンショットをフォルダにまとめ、そのフォルダを開いてAIアシスタントを起動します。アシスタントはそのフォルダ内に対象を自動的に絞り込み、中身をすべて分析します。フォルダを開かずに右クリックして、アシスタントのコンテキストに追加することも可能です。

あとは、普段なら画像を何度も切り替えて確認しなければならないような質問を投げかけるだけです。「これらの競合のうち、シート単位（ユーザーごと）で課金されるのはどれで、最も安い年間プランは？」「ポルト行きの列車の時間は何時で、どのプラットフォーム発？」といった質問ができます。回答には参照したスクリーンショットへのクリック可能なリンクが引用されるため、それぞれを開いて詳細を確認できます。

追加の質問をしても、文脈（コンテキスト）は維持されます。料金比較のあとに「シングルサインオン（SSO）が含まれているプランはどれ？」や「無料トライアルについて記載されていたページは？」といった質問を続けられます。回答に使用するモデルは、1つのサブスクリプションでGemini、OpenAI、Claude、DeepSeek、Grok、Qwenなどから自由に選択できます。

どこに保存したか分からないスクリーンショットについては、フォルダを指定せずに質問してください。アシスタントがFabric全体および連携アプリを横断して自律的なエージェント検索を実行するため、「期限切れの証明書に関するエラーメッセージのスクリーンショットを見つけて」と指示すれば、ライブラリ全体から探し出してくれます。

ステップ4：画像そのものが必要なときは検索を活用する

「検索」をクリックするか、Cmd+F（Mac）/ Ctrl+F（Windows）を押して、スクリーンショットの内容を言葉で説明します。検索は、写真に写った文字を含む画像内のテキストと、視覚的に何が含まれているかの両方に対応しています。注文番号などを完全一致で探したい場合は、単語を引用符（" "）で囲んでください。

ビジュアル資料を探す場合は、HEXコードやカラーピッカーを使って色で検索したり、1つのスクリーンショットを選択して類似検索を実行し、構図、色合い、被写体が似ている他の画像を見つけたりできます。詳細については手持ちのファイルと似た外見のファイルを探す方法で解説しています。

手元に残しておきたい回答はメモとして保存できるため、料金の比較結果を元となったスクリーンショットと一緒にフォルダ内に保管しておくことができます。

よくある質問

AIはスクリーンショット内の文字を読み取れますか？

はい。Fabricは画像やスクリーンショット内のテキストを読み取るため、検索可能になり、AIアシスタントでも利用できるようになります。

AIはテキスト以外に、スクリーンショットに何が写っているかも理解できますか？

Fabricはテキストや色だけでなく、画像の視覚的な内容も把握します。検索機能にもそれが活用されており、類似検索では画像の構図、色、被写体も考慮されます。

スマートフォンのスクリーンショットをFabricに自動で取り込むにはどうすればよいですか？

FabricはiOSおよびAndroidからスクリーンショットを自動でインポートできます。過去のスクリーンショットについては、写真アプリで選択し、Fabricに共有してください。

大量のスクリーンショットを横断して1つの質問をすることはできますか？

はい。スクリーンショットを1つのフォルダにまとめ、その中でアシスタントを開いてください。フォルダ内のすべてを分析し、参照したスクリーンショットを引用して回答します。

あらかじめスクリーンショットの名前変更やタグ付けをしておく必要はありますか？

いいえ。Fabricが取り込み時に各画像を読み取ってタグを提案するため、事前に整理しなくても検索が機能します。

ウェブページのスクリーンショットをFabricに直接保存できますか？

はい。Chrome、Safari、Firefox向けのブラウザ拡張機能を使用すれば、表示しているページのスクリーンショットを直接保存できます。

色でスクリーンショットを検索することはできますか？

はい。HEXコードまたはカラーピッカーを使って色による検索が可能です。

1枚のスクリーンショットについて質問することはできますか？

はい。フォルダを指定せずにアシスタントにそのスクリーンショットの特徴を伝えて質問すれば、該当の画像を見つけ出して回答内で引用してくれます。1枚の画像について繰り返し質問したい場合は、専用のフォルダを作成してください。

スクリーンショットについてAIに質問する機能は無料プランに含まれていますか？

無料プランにはファイルアップロードと制限付きのAI利用が含まれています。より多くのAI機能を利用したい場合は、料金プランをご確認ください。