ChatGPTに画像を送ると、どこまで読み取ってくれるのか。今回は、エラー画面や日本語入りの案内、よく似た2枚の画像で試してみました。
画面の説明、文字の表整理、2枚の比較を順番に頼み、元画像と照らし合わせます。うまく伝わった頼み方と、余計な説明が加わった場面もそのまま紹介します。
ChatGPTに画像をアップロードしてできること
画像を見せたあと、その画像について文章で質問できます。たとえば、次のような頼み方ができます。
| やりたいこと | 画像の例 | 頼み方の例 |
|---|---|---|
| 写っている内容を知る | 画面、案内、図 | 「この画像に何が写っていますか」 |
| 文字を抜き出す | 案内、チラシ、メモ | 「日時と場所を表にしてください」 |
| 画面の意味を聞く | エラー、設定画面 | 「表示内容と次に見る場所を分けて教えて」 |
| 情報を整理する | 表、グラフ、図 | 「大きな変化を3点に絞って」 |
| 2枚を比べる | 修正前後、商品写真 | 「違う場所だけを表にしてください」 |
| 画像を直す | 写真、告知画像 | 「背景だけ明るくして」 |
最後の画像編集は、読み取りとは別の使い方です。画像自体を作ったり直したりしたい場合は、ChatGPT Images 2.5で画像を修正した実測で詳しく紹介しています。
画像の説明や文字の抜き出しなら、専用ソフトを開かず、そのまま会話を続けられるのが便利なところです。ただし、細かい文字や数まで正しいとは限りません。大事な内容は、必ず元画像と見比べます。
画像をアップロードする方法
画像を選ぶ前に、画面の端や写真の背景まで見てください。氏名や住所、認証情報、仕事の非公開情報が写っていたら、そのまま送らず切り抜くか隠します。
パソコンでは、入力欄の「＋」を押し、「写真とファイルを追加」から画像を選びます。画像ファイルを入力欄へドラッグする方法や、コピーした画像を貼り付ける方法でも追加できます。
画像が入力欄に表示されたら、質問を書いて送信します。画像だけを送るより、「何を知りたいか」を一緒に書いたほうが、欲しい答えへ近づきやすくなります。
対応形式はPNG、JPEG、アニメーションなしのGIFです。画像は1枚20MBまで。無料プランでも画像入力を使えますが、プランごとの利用上限があります。
スマートフォンでも、入力欄の追加ボタンから写真を選べます。
何と頼めばよいか｜そのまま使える質問例
長い指示を書く必要はありません。最初は「目的」「見てほしい場所」「答えの形」を入れると頼みやすくなります。
たとえば、エラー画面なら次のように聞けます。
この画面で何が起きていますか。
画面に書かれている事実と、次に確認するとよい場所を分けて教えてください。
画像にない原因は断定しないでください。案内画像の文字を整理したいなら、欲しい項目を名指しします。
この画像から、イベント名、日時、場所、持ち物、申込期限を抜き出して表にしてください。
読めない文字は推測せず「読めない」と書いてください。2枚を比べるときは、「違いを探して」だけで終わらせず、見る範囲を分けます。
2枚の画像の違いを比較してください。
色、文字・数字、物の有無や位置に分け、確認できる違いだけを表にしてください。答えが長すぎたら、「画面に書かれていることだけ」「違う場所だけ」と絞れば構いません。1回で完璧な質問を作るより、回答を見ながら聞き直すほうが簡単です。
架空の3種類の画像で読み取りを試した
実在するサービスの画面や個人情報は使わず、この記事用に作った画像だけで試します。今回は同じ会話の中で、3種類を順番に質問しました。
架空のエラー画面
エラー文、エラーコード、再試行ボタン、次に見る場所を入れた架空画面を使います。画面に書かれた事実と、ChatGPTが考えた可能性が混ざらないかも確認します。
画面の内容は、すべて正しく拾いました。「認証の有効期限が切れています」という表示、エラーコード「CN-204」、「再試行する」ボタン、接続履歴で最後の認証日時を見る案内まで一致しています。画像にない原因も断定しませんでした。
ただし、回答にはHTTP 204の意味まで加わりました。CN-204と同じ意味ではないと断ったうえでの補足ですが、今回の質問には必要ありません。画面の内容だけ知りたいときは、「画面に書かれていることだけ」と短く絞るほうがよさそうです。
日本語入りの案内画像
イベント名、日時、場所、持ち物、申込期限を入れました。申込期限の下には小さめの注意書きも置いています。大きな文字だけでなく、細かい日本語まで読めるかを見るためです。
指定した5項目は、すべて元画像と一致しました。イベント名、日時、場所、持ち物、申込期限が表にまとまり、画像にない情報も加わっていません。
最も小さい注意書きは、場所を指定して追加で聞きました。「空きがある場合も、当日の受付は行いません。」と、こちらも正しく読めています。欲しい項目を先に挙げる使い方は、そのまま実務へ持ち込みやすい結果でした。
よく似た2枚の比較
2枚は同じ構図で、次の7か所だけを変えています。
- 背景の色
- 外枠の色
- 見出しの色
- カップの色
- 目標ページ数
- ＋印の有無
- カップの位置
ChatGPTは7項目すべてを見つけ、ない差分は加えませんでした。
本には違いがないことも補足しており、数字の15ページと25ページ、カップの上下左右も合っています。今回の2枚のように構図が近い画像なら、修正前後の確認にも使えそうです。ただし、これは用意した画像で1回試した結果です。
3つの中で最もそのまま使えたのは、案内画像から欲しい項目を表へ抜き出す使い方でした。2枚比較も全差分を拾えました。一方、エラー画面では事実は読めたものの、頼んでいないHTTP 204の説明まで加わっています。大事な数字や原因に関わる内容は、元画像との照合を残したほうが安心です。
うまく読めないときの直し方
ChatGPTが見落としたときは、同じ質問を繰り返す前に画像と頼み方を少し変えます。
- 読んでほしい部分だけを切り抜く
- 小さな文字がある場所を拡大する
- 横向きや逆さまの画像は正しい向きへ直す
- 矢印や丸印を付けて場所を示す
- 「右下の注意書きだけ」のように範囲を絞る
- 読めない場合は推測しないように伝える
不鮮明な画像や回転した文字、日本語などラテン文字以外の文字は、読み違えることがあります。位置関係や物の個数も、正確に拾えるとは限りません。
とくに数字は、似た形の文字と取り違えられると意味が変わります。金額、日時、型番、エラーコードは、回答だけをコピーせず元画像へ戻って確認します。
アップロードしないほうがよい画像
画像には、本文より多くの情報が写り込むことがあります。送りたい部分だけでなく、画面の端や背景も見てください。
次のような画像は、そのままアップロードしないでください。
- 氏名、住所、電話番号、メールアドレスが読める画面
- パスワード、認証コード、契約番号が写った画面
- 顔や名札が写った写真
- 顧客情報、社外秘資料、未公開の仕事画面
- 診断や治療の判断に使う医療画像
必要な部分だけ切り抜き、名前や番号を隠しても用途が変わらないなら、先に加工してから使います。隠すと判断できなくなる画像は、ChatGPTへ送らないほうが安全です。
設定を変えれば何でも入力してよいわけではありません。判断に迷う場合は、ChatGPTへ入力してはいけない情報も先に確認してください。
画像の読み取りと画像編集は使い分ける
同じ画像をアップロードしても、頼む内容によって結果は変わります。
写っている内容を知りたい、文字を整理したい、2枚を比べたいなら、まずは通常のチャットで質問します。元の画像を残したまま、確認したいことを言葉で続けられます。
背景を変える、物を消す、文字を差し替えるなど、画像そのものを変えたい場合は画像編集です。読み取りの答えではなく、新しい画像が作られます。
最初に「この画像について質問したい。画像は変更しないでください」と書いておくと、目的を分けやすくなります。
まとめ
画像をアップロードするときは、まず個人情報が写っていないかを見ます。そのうえで、見てほしい場所と欲しい答えを一緒に伝えると、会話を始めやすくなります。
今回の実測では、案内画像の5項目と2枚の差分7項目をすべて正しく拾いました。画像を見ながら手で転記したり、2枚を行き来したりする手間を減らせます。ただし、回答が合っていても頼んでいない補足が混ざることはありました。欲しい範囲を言葉で絞り、最後は元画像へ戻って確かめる使い方が向いています。
最初は、公開しても困らないスクリーンショットを1枚使えば十分です。
文字や数は元画像と見比べ、違っていたら範囲を絞ってもう一度聞いてみましょう。
コメント