ツムツムの自動送信のタップミスを防ぐ【FRepの画像認識を解説】

「ツムツムのハートの自動送信がやりたくて、FRepの録画を使い始めたけど、自分をタップしたり招待してしまう。スクロールがずれてくると、ハートの送信漏れもたまにあって困ってる。」

このような悩みにお答えします。

この記事では、ハートの自動送信で使うFRepの画像認識について解説します。FRep初心者の悩みとして、「録画だけでは、完全な自動にならない」という点があると思います。

とはいえ、FRepに詳しい方から使い方を教えてもらい、完全な自動プログラムが作れました。

画像認識の機能を使えば、ハートのタップミスは絶対起こりません！それではいってみましょう。

録画のタップミス問題

録画を使うと、ハートのタップミスが起こるのはなぜでしょうか？

ハートのタップミスとは、このような操作になります。


それは、録画では教えた動きしかできないからです。ハートのタップミスを防ぎ、ハートを確実にタップするなら、どうすればいいでしょうか？

当たり前かもしれませんが、ハートがあるから、ハートをタップできます。自分や招待はハートではないので、同じような位置に表示されても、ハートじゃないからタップしません。

つまり、ハートがあればという、状況に応じた動きができれば、この問題は解決できます。

このような「状況による判断」と「状況に応じた操作」に対応できる機能を画像認識は、持ち備えています。

画像認識とは？

画像認識の機能を解説します。

画像認識を使えば、表示してる画面が用意した画像と同じか判断して、同じなら指定した操作をしてくれます。画面と比べる画像は、事前に撮ったスクショを使います。

実際に比べる時は、画像全体ではなく画像の一部だけを使います。なので、スマホの時間やバッテリーの残量が違っても、その部分は使わないので問題ありません。

画像認識の事前準備

画像認識を使うには、事前に設定が必要な項目がいくつかあります。設定方法について、解説していきます。

撮影タイプの変更

画像認識は、「今の画面のスクショを保存した画像」と「用意している画像」を比べます。このスクショを保存する画像の種類によって、処理の時間が異なってきます。

初期設定のままだと、この処理時間が遅いです。撮影タイプの設定を変更すれば、処理時間が早くなるので、この設定は必ず行いましょう。

FRepを起動した画面から「オプション」をタップします。

「システム設定」をタップします

「撮影タイプ」をBMP(高速)に変更します

保存場所は、内部メモリー（本体）になっています。

SDカードに余裕があれば、外部メモリーに変更しても良いです。スクリーンショットの保存先と合わせておくと、画像を選択する時にフォルダを移動しなくて済みます。

タッチ情報の取得

画像画像を使うなら、画面をタップする操作を登録しておきましょう。このタップする操作をFRepでは、タッチ情報と呼んでいます。

画面の右上の「…」をタップします

「タッチ情報の取得」をタップします

「タップして開始」をタップします

ここからは画面の指示にしたがって操作して下さい。

これで、事前に設定しておく内容は、全て完了しました。画像認識の機能が使えるようになっています。

画像認識の作り方

画像認識の作り方を解説します。実は、用途によって使い方が２つあります。


それぞれどのような時に使うのか解説します。

スクショの一部と画面が同じ時に、タップするような使い方です。
画面が変わった時の判定などに使います。

スクショの一部が画面の指定した範囲内にある時に、タップするような使い方です。
タップするハートの有無の判定に使います。

画像認識の操作を追加

それでは、画像認識を行う処理を追加してみましょう。まずは、画面と同じ時の使い方を解説します。

「[+]条件」をタップします

「画像認識」をタップします

画像認識を行う画像を選択し、「適用」をタップします。

画像認識の種類を選択します

画像認識の種類について、解説します。


完全一致を使うと、見た目は同じでもFRepからすれば違うと判断される事があります。なので、似ている割合を指定できる類似度を使います。

画像を比べる範囲を指定します。逆に、範囲指定がなければ、画面全体が画像を比べる範囲になります。

ツムツムの自動送信では、「色の類似度」と「検索:類似度」の２つを使います。
※検索:類似度の使い方は、後ほどハートのタップで説明します。

類似度を使う時は、割合を設定します。割合とは、どれくらい似ているかという値です。数値が高いほど似ている事になります。

割合の数値が低すぎると、全く違うものを同じと判断するかもしれないので、６０～８０位が良いです。

画像認識で使う画像の設定

それでは、画像認識で使う画像を設定してみましょう。

「画像を編集」をタップします。

画像認識をする場所を囲んで指定します。
上の赤枠で囲んでいる部分の±で微調整できます。From、Toはそれぞれ指定場所の左上のXY座標、右下のXY座標になります。

画像認識をする場所の指定方法について２つ注意しておくことがあります。


要するに、指定する範囲は適した大きさにすれば良いです。

表現が難しいですが、丁度良い大きさです。判定に使える範囲の大きさがあれば良いです。ダメな例を２つ紹介します。注意すべきポイントを守れば問題ありません。

画像認識の範囲が大きすぎると、よけいなものまで判定の対象になってしまいます。指定する範囲が大きくなりすぎないようにしましょう。

この範囲指定では、数字の赤い部分も入っています。

この画像で判定をすれば、メールボックスが0件の時に、判定がＯＫになりません。ハートの数の１０の位が９以外の時も同じです。

状況によって、画面の見た目が変わる部分は、判定に含めないようにしましょう。

画像認識を行う範囲が小さすぎると、完全一致検索しか選べません。指定する範囲が小さくなりすぎないようにしましょう。

この範囲指定では、完全一致しか選べず変更できません。

画像認識の種類で解説した通り、「完全一致」は使ってはいけません！範囲が小さすぎると完全一致しか選べなくなります。

範囲指定のコツは、大きい範囲から少しずつ小さくしていきます。完全一致になる直前がベストです。

画像認識の種類の他の設定項目について解説します。制御設定(上部分)

制御設定(下部分)



判定(目安)の設定時間の初期値は、10秒になっています。判定がＯＫの時は、指定された時間を待たずに次の処理が行われるので問題ありません。ですが、判定がＮＧの時は、その時間待ち続けます。

ランキングのハートが見つからなかった時に、次の４人が表示されるまでスクロールする処理を作ります。

つまり、ハートの範囲指定では、ＮＧの判定を普通に使います。その時の設定時間は、10秒は長いので、3秒位にしておきましょう。
※短すぎると、判定する前に処理が終わる事があるので注意！

「適用」をタップすると、画像認識の処理が追加されます。

新たに画像認識の処理が追加されました。

範囲指定の設定

範囲指定を使う時の設定方法を解説します。画像認識で画像を選ぶ手順までは、これまでと同じです。

ハートの送信で使うので、ランキングが表示されている画像を設定します。

検索の種類は「検索:類似度」を選びます。

「検索」をタップして範囲選択をする画面を表示します。

ハートが表示される範囲を設定します。

範囲指定をする時に、気をつけるポイントが２つあります。


範囲指定のコツは、まず大体の大きさで指定します。その後に座標の数値を変更し、微調整します。

範囲していする場所が画面の端の方で操作しづらい時は、画像をドラッグしましょう。

見た目の画像を移動しているだけなので、指定している座標は変わりません。一度保存してから開き直すと確認できます。

これで範囲指定の設定は完了です。

範囲指定で探す画像の設定

ハートが表示される範囲の設定は終わったので、指定された範囲内で探すタップするハートの画像を設定します。ハートを画像として認識させますが、ハートの形の周りを囲ってはいけません。

ハートの形の周りを囲ってはいけない理由が２つあります。

1つ目の理由は、ハートが少しでも見切れてしまった時に、ハートと認識できず判定がＮＧになります。この画像では、ハートの上の方が表示されていません。

もちろんスクロールがズレなければ、起こらないかもしれませんが、対応できるに越したことはありません。

2つ目の理由は、処理が遅いからです。

画像の判定で使用する大きさが大きいほど、処理が遅くなりスマホに負担がかかります。微々たるものかもしれませんが、スマホに掛かる負担は減らしましょう。

それでは、認識させる画像の設定を行いましょう。「画像を編集」をタップして、認識させる画像の設定をする画面を表示します。

このようにハートの真ん中らへんを縦に細長い形で設定します。

ハートを指定するというより、ハートの一部分のかけらを指定する感じです。

まとめ

画像認識を使えば、録画だけでは実現できない「状況に応じた操作」が可能となります。

画像認識の設定がミスっていなければ、ハートの送信も含め、OKや閉じるのタップミスは絶対に起きません。画像認識が使えれば、プログラムのやれる事が増えるので、是非使いこなせるように頑張って下さい。

録画の他の機能は【初心者向け】FRepの基本機能を解説【これだけは覚えよう】をご覧下さい。

最後までご覧頂き、ありがとうございました。