コンテンツスクレーパーを使用してこれらの7つのSEOハックを自動化する方法

SEOに関しては、誰もが先を行くことを目指しています。

しかし、競合他社があなたよりもランクの高いコンテンツを出している場合、それは難しい場合があります。

もちろん、コンテンツがランク付けされる理由はたくさんあります。おそらく、彼らはあなたよりも優れたドメイン権限を持っているか、あるいはより多くの組み込みオーディエンスを持っているかもしれません。

しかし、それであなたを失望させることはありません。

それらのコンテンツを有利に使用する方法がいくつかあります。

それらの方法の1つは、コンテンツスクレイパー（Webスクレイパーとも呼ばれます）を使用して、コンテンツスクレイパーが何をしているかについての洞察を得て、それを実行できるようにすることです。

唯一の注意点は、それらを正しく使用する方法を知っている必要があるということです。そうしないと、間違ったデータでスタックする可能性があります。

知っておくべきことは次のとおりです。

コンテンツスクレイピングとは何ですか？
コンテンツスクレーパーは、複数のWebサイトからデータを取得する自動化されたプログラムです。

競合他社が最も多くのクリックを獲得するためにブログ投稿でどのようなタイトルを使用しているかを確認したいとします。

各Webサイトに個別にアクセスし、アーカイブされたブログをスクロールして、各タイトルをコピーしてスプレッドシートに貼り付けることができます。それがほとんどのマーケターのやり方です。

投稿追跡

しかし、それは大変な作業です。

一部のサイトには、数百または数千ものアーカイブされたブログ投稿があり、並べ替える必要がある場合があります。

ニール・パテルとの相談
私の代理店があなたのウェブサイトへの大量のトラフィックをどのように促進できるかをご覧ください

SEO-大量のSEOトラフィックのロックを解除します。実際の結果をご覧ください。
コンテンツマーケティング-私たちのチームは、共有され、リンクを取得し、トラフィックを引き付ける壮大なコンテンツを作成します。
有料メディア-明確なROIを備えた効果的な有料戦略。
電話を予約する

代わりに、コンテンツスクレーパーを使用して、必要に応じてメタデータの説明とリンク（SEOに影響を与える可能性のあるすべての要因）とともに、これらのタイトルを収集できます。

この時点で、「これがとても簡単で完璧だったとしたら、なぜ誰もがそれをやらないのか」と疑問に思うかもしれません。

まあ、おそらくそうです。 Googleは実際にサイトをスクレイプして、インデックスにコンテンツを追加します。

それがあなたのコンテンツのランク付けです。

しかし、あなたを凌駕するためにあなたのコンテンツを盗んで彼らのウェブサイトに投稿するかもしれない悪意のあるスクレーパーもたくさんいます。

彼らは：

コンテンツを一語一語コピーして再公開します（盗用とも呼ばれます）。
若干の変更を加えて他のサイトからコンテンツをコピーし、オリジナルとして公開します。
他のソースからのニュースフィードに他のブログ投稿をリストします（外部リンクが間違っていると考えてください）。
グーグルはこれらのことのどれも好きではありません、そして彼らはそれに対してあなたにペナルティを課します。

googlescraper

私もあなたにこれらのことをしてほしくない。

特にオリジナルのコンテンツはマーケティングに非常に適しているため、ランク付けするためにコンテンツを盗むことは信じていません。

あなたができることは、「白い帽子」のマーケティングツールとしてスクレーパーを使用することです。

つまり、手動で作業することなく、必要なデータだけをWebサイトから取得できますが、そのデータを使用してコンテンツをコピーすることはできません。

データを使用して、マーケティング慣行を通知します。

ホワイトハットコンテンツスクレーパーを使用してSEOを向上させる方法をいくつか紹介します。

1.オーガニックキーワードの結果をスクレイプする
コンテンツスクレイピングの最適な使用法は、キーワード調査です。

これは、競合他社がランク付けしているキーワード、ブログ投稿に使用しているメタデータ、実行しているPPC広告の種類を見つけることを意味します。

ScraperforChromeのようなシンプルなコンテンツスクレイピングプラグインから始めることができます。

スクレーパー方法

ただし、実行する内容によっては、より堅牢なツールの方が適している場合があります。

コーディングのノウハウがあれば、独自のコンテンツスクレーパーを作成することもできます。

選択するツールは、最終的にはスクレイプするWebサイトの数によって異なります。

業界内の他の何百ものサイトが何をしているのかを知りたい場合は、単なるプラグイン以上のものが必要です。

たとえば、競合するキーワードのリストをスクレイピングするには、SEMRush（技術的にはWebスクレイパー）のようなツールが高速で簡単です。

ただし、多くのサイトがプロキシを使用してスクレーパーをブロックしているため、SEMRushがすべてのWebサイトをスクレイプするわけではありません。

検索を「検索できない」サイトに拡張する必要がある場合は、ScrapeBoxなどのツールを使用できます。

スクレイプボックスGUI

Scrapeboxは、ほとんどすべてのサイトで機能するため、SEMRushの優れた代替手段です。使い方もとても簡単です。

Scrapeboxを使用するには、キーワード（またはキーワードリスト）をScrapeBoxのキーワードスクレーパーツールにドロップします。

スクレイプボックスのスクリーンショット574x425

次に、スクレイプソースと検索エンジンを選択します。

Googleサジェスト、YouTubeサジェスト、Google商品検索など、いくつかのオプションがあります。

スクレイプボックスキーワードスクレーパーオプションのスクリーンショット

選択したサイトが決まったら、「Scrape」をクリックします。

選択したソースによっては、リストの生成に数分かかる場合があります。

しかし、それが完了すると、利用可能な潜在的なキーワードのはるかに多くのリストが得られるはずです。

スクレイプボックスの結果

「重複するキーワードの削除」機能を使用して、重複を取り除くようにしてください。

そして、あなたはそれを持っています！

Web上のどのサイトからでも、大騒ぎでスケーラブルなキーワード調査を行う必要はありません。

2.アドワーズ広告のコピーでインスピレーションを検索します
SEMRushは「検索できない」サイトには適していない可能性がありますが、それでも有用なscrです。

AdWordsのaper。

たとえば、一部のサイトでは、スクレーパーによるキーワードの使用やブログメタデータの検索がブロックされる場合がありますが、AdWordsがブロックされる可能性は低くなります。

有料キーワードを見つけるには、SEMrush> Advertising Research> Positionsに移動し、ドメインを入力します。

semrush1

これにより、ドメインがAdWords経由で購入したキーワードのリストが表示されます。

[CPC]列の矢印をクリックすると、結果をコストの降順または昇順で並べ替えることができます。

semrush2

次に、このデータをスプレッドシートにエクスポートして、キーワードを追跡できます。

SEMRushにアクセスできるが、エクスポート機能がキーワードを整理する方法が気に入らない場合は、SEOGadgetforExcelなどのプラグインを使用することもできます。

SEMRush（またはMozなどの他のスクレーパーツール）からデータを取得し、Excelに自動的に整理します。

2セットアップ

次に、さまざまなExcelの数式と関数を使用して、Excelから直接サイトをスクレイプできます。

17 moz urlmetrics

これは、予備的なキーワード調査を行うためだけに10種類のツールを使用するのが嫌いな人にとっては非常に役立ちます。

プロセス全体をExcelで設定し、必要なときにフィールドに自動入力することができます。

SEMRushなどのツールへのAPIキーがあれば、プラグインも無料です。

したがって、スクレーパーツールを使用してすでにキーワード調査を行っている場合は、これにより、プロセスの時間とエネルギーを大幅に節約できます。

3.ブログのコメントで潜在的な影響力者を見つける
ブログのコメントがSEOを改善し、視聴者とつながるのにどのように役立つかについては、以前に書いたことがあります。

そのため、ブログでコメントを有効にしています。

私はまた、ゲストのブログがSEOを後押しするための素晴らしい方法であることも知っています。特に、あなたのために書くより大きな影響力のある人を見つけることができる場合はそうです。

私はいつもゲストブログをしています。

ゲストブログ

これは組み込みのオーディエンスであり、トラフィックが大幅に増加します。

それらの有名人の影響力者にあなたのために書いてもらうのは必ずしも簡単ではありません。それらの多くは忙しいか、誰かのサイトにゲスト投稿しないかもしれません。

しかし、ブログのコメントを検索することで、あなたのために喜んで書くかもしれない人々（小さな影響力のある人やあまり知られていない専門家）をいつでも見つけることができます。

自分のブログに「ブランドエバンジェリスト」が必要な場合は、自分のコメントをすべてこすり取って、ゲスト投稿に興味があるかもしれない人を見つけることができます。

この方法には、競合他社も関与しません。

まず最初に、特定のトピックに関連するサイト上のすべての投稿を見つけて、それらの投稿のコメント投稿者の名前と連絡先情報を取得します。

guestbloggin2

コメント投稿者の名前と連絡先情報を入手したら、連絡を取り、コメント投稿者があなたのために書くことに興味があるかどうかを確認できます。

自分のサイトをスクレイピングしている場合は、すでに接続ポイントがあります（彼らはすでにあなたの投稿にコメントしているので、彼らはあなたが誰であるかを知っています）。したがって、コールドメールよりも暖かいリードです。

競合他社のウェブサイトをスクレイプして他の影響力のある人物を見つけることもできますが、あなたが行う連絡は完全に冷たくなります。

覚えておいてください：誰かがブログにコメントしたからといって、彼らが勧誘を望んでいるわけではないので、慎重にアプローチするようにしてください。

4.ゲストブログの調査にデータフィードを使用する
しかし、1人のゲスト投稿になりたい場合はどうでしょうか。

自分の名前とウェブサイトを他のブログにリンクさせることは、自分のサイトのSEOを高めるための優れた方法ですが、ゲストポスターになるのは必ずしも簡単ではありません。

必ず：

他のサイトとの関係を築きます。
彼らがどのようにコンテンツを作成するかを理解します（彼らはあなたに教えてくれないかもしれません）。
成功するピッチを1つか2つ（または10つ）考えてください。
あなたがゲストポスターになるに値する理由について彼らを売る冷たい電子メールを書いてください。
最終的にはSEOの向上には価値がありますが、ピッチングする相手によっては、厳密なプロセスになる可能性があります。

Forbesのようなサイトに送信するための次のルールを確認してください。例：

forbesguidelines

おそらく、彼らはすでに自分のコンテンツに精通している人のために誰かに書いてもらいたいと思うでしょう。

ただし、ブログフィード全体を検索して並べ替えて、自分の売り込みに関連する記事を見つけるのに時間を費やしたくはありません。

それは信じられないほど時間がかかる可能性があります。

その代わりに、コンテンツスクレーパーを使用してRSSフィードからブログ情報を取得します。

まず、彼らのブログのRSSを見つけたいと思います。通常、これは「domain.com/blog/feed」のようなものです（すべてのサイトにこのようなRSSフィードがあるわけではないため、これがすべての人に役立つわけではありません）。

たとえば、ここで私のものを見つけることができます。これは次のようになります。

ニールフィード

ただし、これは単なる生データの集まりです。

そこで、スクレーパーが役に立ちます。そのデータを、タイトル、著者、発行日、URLリンクなどのリストまたはスプレッドシートに分類します。

これにより、関連するコンテンツのデータをふるいにかけることができます。

次に、自分の売り込みに似た投稿を見つけたり、視聴者にアピールする可能性のあるトピックのアイデアを思いついたりすることができます。

もちろん、それはすべて研究目的ですが、ゲストスポットを獲得できるのは研究です。

そして、あなたのピッチが上陸した場合、それはあなた自身のランキングに最適です。

5.最もパフォーマンスの高いカテゴリを決定します

ies
私のブログはすべてGoogleの最初のページのSERPに表示されますが、表示されません。

それらの多くはそうしますが、すべてではありません。

ただし、少なくとも最初のページに表示される可能性のあるコンテンツを作成しようとしています。つまり、最もパフォーマンスの高い投稿を確認するために時間を費やしています。

一部の投稿を他の投稿より共有しやすくするのは、特定のタイトルだけではないことがわかりました。本当に、それはトピックそのものです。

一部のカテゴリは、他のカテゴリよりも視聴者にとって共有しやすいものです。

最も共有されている投稿を見ると、次のパターンがわかります。

neilcategories1

彼らはコンテンツマーケティングについてである傾向があります。

そこで、ブログのホームページの上部にそのカテゴリをリストします。

neilcategories2

私の最も人気のあるトピックは、一般的に少数のカテゴリに分類される傾向があります。

確かに、他のことについて書いたことがあります。しかし、これは人々が本当に私から読みたいものです。

Ahrefs Site Explorerなどのコンテンツスクレーパーを使用すると、どのカテゴリがうまく機能しているかを把握できます。

検索するドメインを入力し、「トップコンテンツ」をクリックして、結果をエクスポートします。

ahrefs

ドキュメントは次のようになります。

ahrefs2

次に、個々のリンクをクリックして、Screaming FrogなどのWebスクレイピングツールを実行することにより、各ブログ投稿で最も人気のあるカテゴリを見つけることができます。

Screaming Frogは結果を分析し、特定の指標に基づいて整理します。

ブログデータが完成しました

これにより、どのカテゴリがオーディエンスにとって最高のパフォーマンスを発揮するかについての洞察が得られます。

また、競合他社のWebサイトでこのツールを実行して、競合他社がコンテンツをどのように整理し、視聴者が最も魅力的であるかを確認することもできます。

カテゴリを追加したり、ブログのトピックを絞り込んだりする場合は、これは優れた戦略です。

私は通常、この種の調査を少なくとも年に1回行って、コンテンツが視聴者の共感を呼んでいることを確認することをお勧めします。

6.フォーラムでコンテンツを検索してバックリンクを作成します
ほとんどのマーケターは、バックリンクの構築がSEOの重要な部分であることを認識しています。

バックリンクを作成する最良の方法の1つは、QuoraやRedditなどのフォーラムを使用して、ビジネスに関連する質問を見つけて、通常はサイトへのリンクを使用して回答することです。

コンテンツマーケティングのサブレディットの例を次に示します。

reddit

しかし、これはすべてかなり厄介に見えますよね？

そうですね、Redditを使用すると、実際にサイトからデータを簡単に取得して整理できます。

それらには、データ収集用にすでに設定されているAPI（Webアプリケーション）があります。多くのフォーラムやウェブサイトには、データを合法的にスクレイピングするのに役立つAPIがあります。

RedditのAPIには、GitHub Reddit wiki、そのAPIドキュメント、またはsubreddit / r/redditdevからアクセスできます。

reddit2

これには少し技術的なノウハウが必要ですが、コンテンツが100ページ以上あることが多いフォーラムの混乱を整理するのに役立ちます。

残念ながら、Quoraは法的な理由でサイトのスクレイピングを許可していません。

したがって、スクレイパーを使用してコンテンツを取得することはできますが、それは「ブラックハット」スクレイピングと見なされ、実際には実行したくありません。

ただし、検索バーを使用してQuoraで上位の質問を検索できるため、この点について説明します。

クォーラ1

スクレーパーが通常行うように「自動化」されていませんが、それでも機能します。

ただし、StackOverflowのように、サイトをスクレイプできるフォーラムは他にもあります。

スタックオーバーフロー

たとえば、他の開発者と話している場合、またはSaaS所有者向けのコンテンツを作成したい場合は、このサイトから上位の質問をスクレイピングすると便利です。

もちろん、このスクレイピングされたデータは、バックリンク以外にもいつでも使用できます。

フォーラムを使用することは、ブログのトピックを考え出すための優れた方法です。

スクレイピングツールを使用してブログのインスピレーションを得るために上位の質問を取得する場合は、回答のある投稿を取得するようにスクレイパーが構成されていることを確認してください。

quora5

これにより、後で実際にコンテンツを作成するときにかなりの時間を節約できます。

7.ブログ投稿のデータをさらに取得します
ブログの投稿に役立つコンテンツをスクレイプすることもできます。

ケーススタディ、レポート、製品情報など、正確なデータを見つけることで、質の高い投稿を作成しようとしている場合に違いが生じる可能性があります。

特定のカテゴリ（家庭用電化製品など）でAmazonの上位の商品について商品レビューを行うとしましょう。

適切な価格情報と適切な機能がリストされていることを確認する必要があります。

しかし、Amazonは大きな場所です。彼らは理由もなく「地球の最大の選択」とは言いません。

earthsbiggest

最も簡単な方法は、Amazon、eBay、Googleショッピングなどのサイトから商品情報を自動的に取得できるウェブスクレイパーを使用することです。

Webhose.ioのようなツールは、何千ものサイトのリアルタイムデータを提供し、月に最大1,000件のリクエストを行う無料のプランがあります。

2 webhose.io

これは、大規模なWebスクレイピングツールに数百ドルを費やすことなく、多数のWebサイトからの迅速なデータを必要とするマーケターに役立ちます。

たとえば、「2018年の最高のEメールマーケティングソフトウェア」のリストを作成したい場合は、

d一度に複数のサイトから価格と機能情報を取得して、リストを作成します。

emailmarketing1

Statistaなどのサイトからデータを取得して、インフォグラフィックやその他の共有可能なコンテンツの調査をまとめることもできます。

基本的に、ブログの投稿をより良く、より独創的にするために必要なデータを見つけることができます。

これは、外部リンクを作成するのに役立つだけでなく、コンテンツの品質も向上させます。

そして、私たちは皆、Google（そしてあなたの聴衆）が素晴らしいコンテンツを愛していることを知っています。

コンテンツスクレーパーを使用するためのヒント
ウェブスクレイパーについて話すときは、それらを調査に使用していることを確認し、マーケティング慣行に情報を提供することが重要です。

何をするにしても、他人のコンテンツを盗用するためにそれらを使用しないでください。

盗作

これはGoogleにとって大きな「ノーノー」であるだけでなく、他のブログとの関係を構築するのにも悪いことです。

たとえば、ゲストの投稿者になることで被リンクを作成しようとしている場合、そのサイトのコンテンツを盗むことは望ましくありません。

彼らはおそらく気付くでしょう。

また、「ホワイトハット」ツールと見なされるツールを使用する必要があります。

ブラックハットスクレーパー（たとえば、コンテンツを盗むように設計されたスクレーパー）は、ホワイトハットスクレーピングに使用できますが、適切に使用するように注意する必要があります。

前述のツールであるScrapeboxは、たとえば、ホワイトハットとブラックハットの両方のWebスクレイピングに使用できます。

スクレイプボックス2

しかし、このようなツールのほとんどは、たとえ人々が間違った理由でそれらを使用したとしても、ホワイトハットマーケター向けに設計されています。

プロセスを本当に自動化したい場合は、「すぐに使える」ツールの使用を検討してください。つまり、キーワードまたはドメイン名をプラグインし、ボタンを押して結果を得ることができます。

特にコーディングのバックグラウンドがない場合、Webスクレイピングは非常に複雑になる可能性があります。

コーディングを理解していても、Webスクレイパーでうまくいかないことがたくさんあります。

また、多くのサイトには、適切に設計されていない場合にWebスクレイパーを破壊する可能性のあるプロキシやその他のツールがあります。

ほとんどの場合、SEMRushのようなWebスクレイパーで十分です。

ただし、より多くのデータが必要な場合は、他のオプションを利用できることを知っておいてください。

結論
Webスクレイピングは、正しく行われた場合、マーケティングリサーチにとって素晴らしいことです。

まず、仕事に適したツールを使用していることを確認してください。大量のスクレイピングを行う必要がある場合、または複数のサイトからプルしたい場合は、より堅牢なものを使用することを検討してください。

ブログのタイトルとメタデータを取得したいだけの場合は、うまく機能するプラグインがいくつかあります。

すべてがホワイトハットである必要があることを覚えておいてください。つまり、悪意のあることを行うためにそのデータを使用していないということです。

キーワード、メタデータ、PPC広告、ブログのインスピレーションなど、最も重要な情報を最初に見つけるために使用します。

そして、その情報のためにあなた自身のサイトをこすり落とすことも忘れないでください。

自分のデータについてよく知っているほど、マーケティング戦略は良くなります。

ホワイトハット戦略のためにスクレイピングツールをどのように使用しますか？