パロアルトネットワークファイアウォールを介して Googlebot や他のウェブクローラを許可する方法

質問

どのように我々は、パロアルトネットワークファイアウォールを介して Googlebot や他のウェブクローラを許可するのですか?

Googlebot やウェブクローラとは何です か?

ウェブクローラは、web サイトを訪問し、検索エンジンのインデックスのエントリを作成するために自分のページやその他の情報を読み取るプログラムです。

詳細

ウェブサイトは、パロアルトネットワークファイアウォールによって保護されている場合、ポート80は、Google のウェブクローラ (スパイダー) またはその他の web クローラは、コンテンツにインデックスを作成し、検索結果に追加するには、ウェブサイトにアクセスするのに十分ですが、アプリケーションを使用するときセキュリティポリシーは、より多くの要件があります。

回答

Googlebot またはファイアウォールを介して他の web クローラを許可するには、すでに許可されているアプリケーション (ウェブブラウジング、ping、フラッシュなど) に加えて、'ウェブクローラ' アプリケーションも同様に許可する必要があります。 

「web クローラー」が正しく動作するためには、「web ブラウジング」も同様に許可する必要があります。 以下のアプリケーション領域 pic の ' アプリケーションに依存する: ' 領域を参照してください。オブジェクトからの Web クローラ詳細画面 > アプリケーション

注:セキュリティポリシーで web クロールを特定の web クローラから制限する必要がある場合は、 管理者がセキュリティポリシーで送信元 IP を使用する必要があります。現時点では、パロアルトネットワークは、"Googlebot" のための別のアプリケーションを持っていません。

所有者: acamacho