Cómo permitir Googlebot y otros rastreadores web a través del cortafuegos de Palo Alto Networks

Pregunta

¿Cómo permitimos a Googlebot y otros rastreadores web a través del cortafuegos de Palo Alto Networks?

¿Qué es Googlebot o un rastreador web ?

Un rastreador web es un programa que visita sitios web y lee sus páginas y otra información con el fin de crear entradas para un índice de motor de búsqueda.

Detalles

Cuando los sitios web están protegidos por un cortafuegos de Palo Alto Networks, permitir que el puerto 80 sea suficiente para los rastreadores web de Google (spiders) o cualquier otro rastreador web para acceder al sitio web para indexar el contenido y agregarlo a los resultados de la búsqueda, pero al utilizar aplicaciones como parte de la política de seguridad, hay más requisitos.

Respuesta

Para permitir que googlebot o cualquier otro rastreador web a través del firewall, además de las aplicaciones ya permitidas (navegación web, ping, Flash, etc.), laaplicación ' Web-Crawler' también necesita ser permitida.  

Paraque ' Web-Crawler' funcione correctamente,también es necesario permitir la navegación por Internet.  Consulte la sección "depende de las aplicaciones:" en el área de aplicación PIC a continuación. Pantalla de detalle de rastreadores web desde objetos > aplicaciones

Nota: si su política de seguridad necesita restringir el rastreo Web desde un rastreador web específico , el administrador necesita utilizar la IP de origen en la Directiva de seguridad. En este momento, Palo Alto Networks no tiene una aplicación separada para "Googlebot".

Propietario: acamacho