Estos días he estado investigando sobre el mejor robots.txt para WordPress y mejorar en Google Panda Update. Y es que a día de hoy tenemos que evitar cualquier contenido duplicado sino Google nos puede penalizar.
Podéis ver el mio en:
http://helektron.com/robots.txt
El contenido es el siguiente:
Sitemap: http://helektron.com/sitemap.xml.gz
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /*?*
Disallow: /*?
Disallow: /tag/*
User-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot
Disallow:
User-agent: Adsbot-Google
Disallow:
User-agent: Googlebot-Image
Disallow:
User-agent: Googlebot-Mobile
Disallow:
Depende mucho de la estructura que tengáis en vuestro blog y lo que consideréis indexable. Para mi, solo los post y las categorías, siendo estas últimas contenido relevante.
¿Vosotros como lo veis?













Comentarios recientes