Aprende a utilizar el archivo robots.

txt para mejorar el
posicionamiento en Google
Una herramienta que será muy útil en tu sitio web
La automatización de los robots de los buscadores ha permitido utilizar todas las
ventajas de las nuevas herramientas para rastrear la web y los sitios indexados. Una
de estas herramientas es el archivo robot.txt que sirven para impedir el acceso de
los rastreadores a determinadas páginas del sitio. Realizando estos cambios se
puede mejorar bastante el posicionamiento en Google así como en otros
buscadores. Si usted tiene un sitio web en el que se incluye información que no se
quiera indexar en el motor de búsqueda, entonces esta clase de archivo debe
utilizarse, ya que funciona como un bloqueo para las páginas web en las que se esté
aplicando. Cuando se desarrolla un sitio web no hay que olvidar
lacompatibilidad de navegadores, que puede significar la efectividad de todo
el potencial que usted ha pensado para su página, expresado en todos los
navegadores posibles. Sin embargo no todos los robots interpretan igual las
indicaciones de esta clase de archivos; además el archivo robot.txt no es
obligatorio, y por eso no es respetado por algunos desarrolladores de spam, y por lo
tanto, es bueno tomar medidas para salvaguardar la información importante del
sitio como contraseñas y otros datos. Si tu sitio web va a permitir la indexación por
completo de todos los contenidos, entonces no es necesario utilizar el archivo
robot.txt pues la función de este archivo es bloquear el contenido de las páginas
para que no sean indexadas. Cuando quieras hacer algo por el posicionamiento en
Google, puede crear información utilizando este archivo, pues cuando este
buscador encuentre esta condición en un sitio, no indexará los contenidos de las
páginas bloqueadas de una web, pero si lo hará con otras URL, textos de anclaje, y
otros datos que de alguna manera pueden llegar a aparecer en los resultados de
búsqueda. Lo primero que se requiere para usar adecuadamente un archivo
robot.txt es acceder al directorio raíz del dominio. Luego se puede crear un archivo
robot.txt, que en su versión más simple incluye dos reglas básicas para configurar
una entrada: el User-Agent que es el robot al que se aplica la siguiente regla, y el
Disallow que es la URL que se quiere bloquear. Se pueden aumentar las entradas
de esta clase para crear el archivo. Un User-Agent es un robot específico del motor
de búsqueda tomado de una base de datos de numerosos robots. Es necesario
nombrar el robot entre varios robots comunes; y así mismo se pueden aplicar estas
reglas a todos los robots por igual. El principal robot que se usa para las
configuraciones de búsqueda web es el Googlebot, y a las reglas que se aplican a

se adaptan el resto de los robots. el archivo robot. Para guardar este archivo es importante tener en cuenta que no se puede ubicar en subdirectorios. Es importante recordar que la mayoría de las concordancias e indicaciones que se definen para este tipo de archivo afectan solamente al Googlebot. ya que no será válido.gif. .txt se debe ubicar en la raíz del domino y denominarse como robot. Si se quiere bloquear una página determinada se debe insertar en la línea Disallow.txt.este. por el contrario. y no necesariamente a otros robots que estén rastreando un sitio web. También se puede eliminar una o varias imágenes del buscador o bloquear archivos . pero siempre será importante trabajar el posicionamiento en Google sin olvidar usar estas importantes herramientas.