Skip to content

画像テキスト(OCR) ​

Instagram のカルーセル、スライド、スレッドのスクリーンショットなど、内容が画像の中にある投稿はたくさんあります。Social Archiver はその文字を読み取って投稿と一緒に保存し、アプリ、書き出した Markdown、AI エージェント向けの CLI のどこからでも検索できるようにします。

自分で実行するテキスト認識はデバイス上で処理されます。iPhone・iPad・Mac では Apple Vision、Android では Google ML Kit を使います。このとき、文字を読み取るために画像をどこかへアップロードすることはありません。オプションの自動読み取り(下記)は Cloud AI を使います。日本語、英語、韓国語、中国語を認識します。

モバイルアプリ(iOS・Android) ​

テキスト認識は最初からオンになっています。

  1. 画像のある保存済みの投稿を開きます。
  2. 画像の Aa ボタンをタップします。アプリがその画像内の文字を読み取ります。
  3. ノートに追加をタップすると保存されます。画像が複数ある投稿では、すべてノートに追加ですべての画像の文字を一度に保存できます。テキストをコピーをタップすると、代わりにコピーします。

設定は 設定 → 画像テキスト認識 にあります。

設定内容
テキスト認識画像テキスト認識のオン・オフ
テキストを自動検出画像内に文字が見つかったとき Aa バッジを表示します
Live Text(iOS 16以上)画像を長押しして文字を選択・コピーします

デスクトップアプリ(Mac) ​

  1. 保存済みの投稿を開き、画像の 文字を認識 をクリックします。
  2. ノートに保存 または テキストをコピー をクリックします。

設定は 設定 → 画像内テキスト にあります。

設定内容
画像内の文字を認識この Mac の Apple Vision を使います
画像テキストを自動で含めるAI と場所抽出のリクエスト前に、まだ読み取っていない画像の文字を認識し、画像の内容も使えるようにします

デスクトップアプリの画像テキスト認識は macOS が必要です。

自動読み取り(Cloud AI) ​

モバイルまたはデスクトップアプリの画像テキスト設定で 画像テキストを自動で読み取る をオンにすると、それ以降に保存するすべての投稿の画像内の文字を自動で読み取り、ノートに追加します。デバイスが1台も起動していなくても動作します。1つの投稿につき画像は最大20枚まで読み取ります。この設定はデスクトップ0.10.2、モバイル2.6.7以降にあります。

文字のある投稿1件につき0.1 Cloud クレジットを使用し、画像に文字がない投稿は無料です。Cloud AI で処理されるため、文字を読み取るために画像が Cloudflare Workers AI に送信されます。Cloud クレジットがなくなると、クレジットがリセットされるまで新しい投稿は読み取りません。その月にモバイルアプリから1回通知が届き、設定にも一時停止中であることと再開日が表示されます。Cloud AI の設定に従うので、Cloud AI がオフのときは読み取りません。オンにする前に保存した投稿は自動では読み取らないため、アプリまたは social-archiver image-text を使ってください。

テキストの保存先 ​

保存したテキストは、投稿に 📷 Extracted Text (Image N) という題のノートとして付きます。N は投稿内でのその画像の順番です。ほかのノートと同じくアカウントに同期されるので、どのアプリでも表示されます。同じ画像をもう一度読み取ると、ノートを増やさずに既存のノートを置き換えます。

  • 書き出した Markdown(social-archiver export、モバイルアプリの Markdown 書き出し)では、キャプションの隣の Extracted Text (OCR) セクションに入ります。
  • AI コメントと場所抽出にも含まれ、画像の内容も使われます。

CLI から(AI エージェント向け) ​

デスクトップアプリをインストールした Mac では、CLI で画像テキストをまとめて読み取り、検索や書き出しができます。

bash
# タグの付いた投稿のすべての画像の文字を読み取る(読み取り済みの画像はスキップ)
social-archiver image-text --tag study

# 投稿 id で1つ以上指定。--force で画像をもう一度読み取る
social-archiver image-text <archiveId> <archiveId> --force

# サーバーでノートを検索(画像テキストを含む)
social-archiver search --q "sleep" --scope notes

# または一度書き出して、エージェントにファイルを読ませる
social-archiver export --dir ./study --tag study --limit 500
grep -ril "sleep" ./study

image-text は Social Archiver が保存した画像のコピーがあればそれを読むので、プラットフォームの元の画像リンクが期限切れになった後も動作します。--limit <n> を付けると n 件の投稿で止まります。JSON の結果は投稿ごとに saved、skipped(no-image、already-read、no-text)、failed のいずれかを示します。カルーセルの画像が1枚読み取れなくてもほかの画像は保存され、失敗した画像は failedImages に並びます。

バージョン

image-text と search --scope には CLI 0.2.2 以降が必要です(social-archiver --version で確認できます)。image-text はデスクトップアプリ0.10.2以降を通じて Apple Vision を実行します。SERVICE_NOT_READY が返ったら、デスクトップアプリをインストールまたはアップデートしてからやり直してください。デスクトップ0.10.2以前に付属の sa ツールはこれらのコマンドがない以前の CLI なので、CLI を別途インストールしてください。

動画では、screen-text が画面に表示された文字を読み取り、transcribe が音声を文字起こしにします。コマンドライン (CLI)を参照してください。

MITライセンスで公開されています。