# esta pagina me genera el robot que yo desee http://www.mcanerin.com/EN/search-engine/robots-txt.asp
# para todas las araņas (*) entre a todos los archivos (Disallow:) menos a los siguientes
# si deseara restringir solo el robot de google le pongo User-agent:Googlebot 
# ojo que si pongo (Disallow:/) no me entra a ninguna pagina.
#Disallow: /?* desavilito todas las url que enpiecen con ?
#Disallow: /*.js$  desavilite todas las paginas que terminen con .js
# tambie desabilito los archivos para el robot de adsense que es Mediapartners-Google

User-agent: *
Disallow: 
Disallow: /account
Disallow: /admin
Disallow: /ads_search
Disallow: /chat
Disallow: /door
Disallow: /help
Disallow: /home
Disallow: /not_found
Disallow: /profile
Disallow: /prueba
Disallow: /terms
Disallow: /?*
Sitemap: http://www.guayu.com/sitemap.xml