スマホで撮った動画に、AIで字幕を自動でつけている話【Remotion×Claude Codeの実体験】

AIRI AI WORKS運営者・村田藍彩の写真と、記事タイトルを大きく載せたヘッダー画像

※本記事にはアフィリエイト広告(PR)を含みます。

目次
  1. この記事で作れるもの(完成形を先に見せる)
  2. 用意するもの
  3. 手順1: スマホの縦向きで自撮りする
  4. 手順2: フォルダに入れて「編集して」と頼み、まず文字起こしだけを確認する
  5. 手順3: 一発撮りの言い直しは、無音の区間で分割してつなぐ
  6. 手順4: 字幕入りで書き出して、Editsで仕上げてから投稿する
  7. つまずきやすいところ
  8. まとめ

この記事で作れるもの(完成形を先に見せる)

この記事のゴールは、「スマホで撮った自撮り動画をフォルダに入れて『編集して』と頼むだけで、字幕入りの縦動画ができあがっている」状態を作ることです。

自分は、個人ブランドのInstagramアカウントで、顔出しで経営者としての実体験を話すリール動画を出しています。塾の生徒や個人情報が映ることは一切なく、自分ひとりがカメラに向かって話しているだけの動画です。この手の動画は字幕がないと音を出せない場面でスルーされてしまうので、字幕は必須でした。

ただ、字幕を手で打つのは本当に時間がかかります。1分の動画でも、聞き直しながらタイミングを合わせて文字を置いていくと、撮影の何倍もの時間が飛んでいく。この「字幕を入れる」という作業だけをAIに任せたのが、この記事で紹介している仕組みです。

使っているのは、Remotionという「動画をコードで生成する」オープンソースのライブラリと、それを動かすための自作のPythonスクリプト(make_reel_remotion.py)です。スクリプトを自分で叩くのではなく、AIエージェント(Claude Code)に「編集して」と頼むと、AIがスクリプトを実行して、文字起こしから字幕入りの書き出しまでやってくれます。

先に言っておくと、この仕組みはまだ完成していません。字幕が単語の途中で切れることがありますし、文字起こしが間違っていることもあります。それでも、手で字幕を打っていた頃と比べれば、動画を出すハードルは明らかに下がりました。

なお、Remotionについてはアフィリエイト提携などはしていません。実際に使っているものを紹介しているだけで、広告ではありません。

用意するもの

  • スマホ(縦向きで自撮りができれば何でも大丈夫です)
  • パソコン(自分はMacを使っています)
  • Remotion(動画をコードで生成するオープンソースのライブラリ)
  • 字幕をつけるための自作Pythonスクリプト(make_reel_remotion.py)
  • AIエージェント(自分はClaude Codeを使っています。スクリプトの実行と、文字起こしの確認をお願いする相手です)
  • 動画を入れる決まったフォルダ(「ここに入れたら編集対象」というルールにしておくと、AIへの指示が「編集して」の一言で済みます)
  • Instagramの「Edits」アプリ(表紙と音源をつける仕上げに使います)
  • AirDrop(パソコンからスマホに動画を送るのに使っています)

手順1: スマホの縦向きで自撮りする

撮影はスマホだけです。凝った機材は使っていません。

自分が決めているのは、「窓向き・目の高さ」の2つだけ。窓に向かって座ると顔に自然な光が当たりますし、カメラを目の高さに置くと、見ている人と目線が合う感じになります。逆に、この2つを外すと、どれだけ字幕をきれいに入れても暗くて見づらい動画になってしまうので、字幕より先にここを揃えるようにしました。

撮り方は基本的に一発撮りです。台本を細かく作り込むと話し方が硬くなるので、話したいことを頭に置いて、そのまま回します。言い直しが入ってしまっても止めずに続けて、あとでAIにつないでもらいます(このやり方は手順3で書きます)。

手順2: フォルダに入れて「編集して」と頼み、まず文字起こしだけを確認する

撮った動画ファイルを、決めておいたフォルダに入れます。そしてAIに「編集して」と頼む。指示はこれだけです。

ここからが、この記事でいちばん伝えたいところです。

AIはいきなり字幕入りの動画を書き出すのではなく、まず「文字起こしだけを確認するモード」でスクリプトを動かします。 動画から音声を聞き取って、字幕になる予定の文章だけを先に見せてくれる、という段階です。

なぜこの段階を挟むかというと、AIの聞き取りは間違えるからです。自分の名前や事業の固有名詞、早口になった部分、語尾が曖昧になった部分などは、平気で違う言葉に置き換わります。それに気づかず字幕入りの動画まで書き出してしまうと、全部やり直しです。書き出しには時間がかかるので、間違ったものを何度も書き出すくらいなら、先に文章だけを見て直したほうが圧倒的に早い。

なので自分は、書き出す前に必ず自分の目で文字起こしを読みます。 「AIが聞き取ったから合っているだろう」とは思わないようにしています。ここで直したいところがあれば、AIに「この部分は◯◯と言っている」と伝えて修正してもらってから、次に進みます。

手順3: 一発撮りの言い直しは、無音の区間で分割してつなぐ

一発撮りをしていると、同じことを2回言い直したり、途中で詰まって最初から言い直したりすることがあります。以前はそのたびに撮り直していたのですが、今はそのまま素材として渡しています。

AIにやってもらっているのは、次のような編集です。

  1. 動画の中の無音になっている区間を見つけて、そこで動画を分割する
  2. 分割した区間ごとに文字起こしをして、「どの区間で何を言っているか」を一覧にする
  3. 同じ内容を複数回言っている場合は、一番うまく言えた区間だけを残す
  4. 残した区間をつなぎ合わせて、1本の動画にする

つまり「言い直しの回数分だけ候補がある」状態にして、そこからいいテイクを選ぶ、という考え方です。自分は動画編集ソフトでカットを刻むのが苦手なので、この「無音で割って、文字で比べて、いいところだけ拾う」というやり方のほうが性に合っていました。

ここでも手順2と同じで、区間ごとの文字起こしを自分で読んで、どれを残すかを最終的に判断しています。AIに全部任せると、「言い直したほうが自然だった」といった、話している本人にしか分からない判断が抜けてしまうからです。

手順4: 字幕入りで書き出して、Editsで仕上げてから投稿する

文字起こしがOKになったら、字幕入りの動画として書き出してもらいます。

字幕のスタイルについては、少し経緯があります。当初は、話している言葉に合わせて色が変わっていく「カラオケ式」の字幕を試しました。動きがあって目を引くので、リールでよく見かけるスタイルです。ただ、自分の動画は落ち着いて話す内容が多く、文字がチカチカ動くのがどうにも自分の好みに合わなかったので、その機能はオフにしました。今は、白文字の通常の字幕を使っています。 派手さはありませんが、話の内容に集中してもらいやすいと感じています。

書き出した動画は、AirDropでスマホに送ります。そのあとはInstagramの「Edits」というアプリで、表紙(サムネイル)と音源をつけて仕上げてから投稿しています。表紙と音源まで自動化することもできそうですが、ここは自分の手で選びたい部分なので、今はあえてスマホ側の作業として残しています。

流れをまとめると、こうです。

  1. スマホの縦向きで自撮り(窓向き・目の高さ)
  2. 動画をフォルダに入れて、AIに「編集して」と頼む
  3. AIがスクリプトを実行し、文字起こしだけを確認するモードで内容を見せてくれる
  4. 自分で文字起こしを読んで、間違いがあれば直す。OKなら字幕入りで書き出してもらう
  5. AirDropでスマホに送り、Editsで表紙・音源をつけて投稿する

つまずきやすいところ

  • 単語の途中で字幕の画面が切れてしまうことがある
  • AIの文字起こしが間違っていることがある
  • 「カラオケ式」の字幕は、動画の雰囲気によっては合わない
  • 一発撮りの言い直しは、どのテイクを残すかを自分で判断する必要がある

正直にお伝えすると、いちばんの悩みは字幕の区切りです。字幕は一定の長さで画面を切り替えているのですが、その切れ目が単語の途中に来てしまうことがあり、これがまだ完全には解消していません。読んでいる側からすると、言葉が一瞬途切れて見えるので、気になる人は気になると思います。区切りの位置を調整する試行錯誤は続けていますが、「これで大丈夫」と言い切れる状態にはなっていないのが現状です。

文字起こしの間違いについては、手順2に書いたとおり、書き出す前に自分で確認することで防いでいます。裏を返せば、この確認を省くと間違った字幕のまま投稿してしまう可能性があるので、「AIに任せて完全に手放しになる」仕組みではありません。人の目が入る前提の仕組みだと思っておいたほうがいいです。

カラオケ式の字幕は、機能として使えないわけではなく、自分の好みで使うのをやめました。テンポの速い動画や、盛り上げたい内容であれば、むしろ合うかもしれません。ここは動画の中身次第だと思います。

まとめ

スマホで撮った動画をフォルダに入れて「編集して」と頼むだけで、字幕入りの縦動画ができあがる。この状態になってから、自分がリールを出す回数は目に見えて増えました。字幕を手で打つ作業が丸ごとなくなったことが、いちばん大きいです。

ただ、この仕組みで学んだのは「AIに任せるほど、確認の段階が大事になる」ということでした。文字起こしを先に見る、区間ごとにどのテイクを残すかを自分で決める。手を動かす部分は減っても、判断する部分は自分に残しています。字幕が単語の途中で切れる問題のように、まだ直しきれていないところもあります。

それでも、「撮って、入れて、頼む」だけで動画が形になるのは、ひとりで事業をやっている自分にとっては大きな変化でした。同じように「字幕が面倒でリールを出せていない」という方の参考になればうれしいです。

村田藍彩

村田藍彩

高知で塾を運営しながら、Claude Codeなど生成AIを塾の仕事に活用中。AI導入・活用の支援もしています。