robots.txt

robots.txt

En este archivo nos damos cuenta de las cosas que están habilitadas o deshabitadas en un servidor WEB, muchos de los servidores lo tienen habilitado. 
la palabra robots viene de los motores de búsqueda (google, yahoo, bing, etc ) indexan las paginas con alguna aplicación a la cual se le llama robots por que lo hacen de forma automatica. 

El archivo robots.txt se ha de subir a la raíz del alojamiento para indicar a los robots qué paginas o directorios no nos interesa indexar. Sólo tiene que haber un archivo robots.txt en cada sitio web.
La configuración de este archivo es importante, ya que nos aporta unos beneficios de varios tipos, por ejemplo:
  • Ayuda a hacer una indexación más fluida del contenido importante de la web, con lo que mejora el posicionamiento en Internet. Además puede agilizar el rastreo de los robots, mejorando el uso de la web.
  • Impide el acceso a determinados robots, ya que algunos de ellos sólo proporcionan problemas en la web porque no son buscadores, además de limitar la información que queremos mostrar, de manera que los datos personales privados no puedan ser encontrados en Google.
  • Reducen la sobrecarga del servidor, porque se puede controlar el tiempo de acceso de algunos robots. Algunos de estos robots se dedican a hacer una cantidad elevada de peticiones que pueden saturar el servidor y que el usuario real tenga una navegación más lenta por la página.

User-Agent: *  #(Mozilla, chrome)cualquier explorador puede acceder a rastrear nuestra web 
Disallow: /wp-  #se bloquean todos los archivos que hace referencia a wp wordpress 
Allow: /wp-content/uploads/ #permite el acceso a rastrear los archivos adjuntos 
Sitemap: http://www.dominio.com/sitemap_index.xml #aqui inicia el acceso 


tenemos aqui el ejemplo de archivo robots de google.
https://www.google.com.mx/robots.txt


User-agent: *
Disallow: /search
Allow: /search/about
Disallow: /sdch
Disallow: /groups
Disallow: /index.html?
Disallow: /?
Allow: /?hl=
Disallow: /?hl=*&
Allow: /?hl=*&gws_rd=ssl$
Disallow: /?hl=*&*&gws_rd=ssl
Allow: /?gws_rd=ssl$
Allow: /?pt1=true$
Disallow: /imgres
Disallow: /u/
Disallow: /preferences
Disallow: /setprefs
Disallow: /default
Disallow: /m?
Disallow: /m/
Allow:    /m/finance
Disallow: /wml?
Disallow: /wml/?
Disallow: /wml/search?
Disallow: /xhtml?
Disallow: /xhtml/?
Disallow: /xhtml/search?
Disallow: /xml?
Disallow: /imode?
Disallow: /imode/?
Disallow: /imode/search?
Disallow: /jsky?
Disallow: /jsky/?
Disallow: /jsky/search?
Disallow: /pda?
Disallow: /pda/?
Disallow: /pda/search?
Disallow: /sprint_xhtml
Disallow: /sprint_wml
Disallow: /pqa
Disallow: /palm
Disallow: /gwt/
Disallow: /purchases
Disallow: /local?
Disallow: /local_url
Disallow: /shihui?
Disallow: /shihui/
Disallow: /products?
Disallow: /product_
Disallow: /products_
Disallow: /products;
Disallow: /print
Disallow: /books/
Disallow: /bkshp?*q=*
Disallow: /books?*q=*
Disallow: /books?*output=*
Disallow: /books?*pg=*
Disallow: /books?*jtp=*
Disallow: /books?*jscmd=*
Disallow: /books?*buy=*
Disallow: /books?*zoom=*
Allow: /books?*q=related:*
Allow: /books?*q=editions:*
Allow: /books?*q=subject:*
Allow: /books/about
Allow: /booksrightsholders
Allow: /books?*zoom=1*
Allow: /books?*zoom=5*
Allow: /books/content?*zoom=1*
Allow: /books/content?*zoom=5*
Disallow: /ebooks/
Disallow: /ebooks?*q=*
Disallow: /ebooks?*output=*
Disallow: /ebooks?*pg=*
Disallow: /ebooks?*jscmd=*
Disallow: /ebooks?*buy=*
Disallow: /ebooks?*zoom=*
Allow: /ebooks?*q=related:*
Allow: /ebooks?*q=editions:*
Allow: /ebooks?*q=subject:*
Allow: /ebooks?*zoom=1*
Allow: /ebooks?*zoom=5*
Disallow: /patents?
Disallow: /patents/download/
Disallow: /patents/pdf/
Disallow: /patents/related/
Disallow: /scholar
Disallow: /citations?
Allow: /citations?user=
Disallow: /citations?*cstart=
Allow: /citations?view_op=new_profile
Allow: /citations?view_op=top_venues
Allow: /scholar_share
Disallow: /s?
Allow: /maps?*output=classic*
Allow: /maps?*file=
Allow: /maps/api/js?
Allow: /maps/d/
Disallow: /maps?
Disallow: /mapstt?
Disallow: /mapslt?
Disallow: /maps/stk/
Disallow: /maps/br?
Disallow: /mapabcpoi?
Disallow: /maphp?
Disallow: /mapprint?
Disallow: /maps/api/js/
Disallow: /maps/api/staticmap?
Disallow: /maps/api/streetview
Disallow: /mld?
Disallow: /staticmap?
Disallow: /maps/preview
Disallow: /maps/place
Disallow: /help/maps/streetview/partners/welcome/
Disallow: /help/maps/indoormaps/partners/
Disallow: /lochp?
Disallow: /center
Disallow: /ie?
Disallow: /blogsearch/
Disallow: /blogsearch_feeds
Disallow: /advanced_blog_search
Disallow: /uds/
Disallow: /chart?
Disallow: /transit?
Disallow: /extern_js/
Disallow: /xjs/
Disallow: /calendar/feeds/
Disallow: /calendar/ical/
Disallow: /cl2/feeds/
Disallow: /cl2/ical/
Disallow: /coop/directory
Disallow: /coop/manage
Disallow: /trends?
Disallow: /trends/music?
Disallow: /trends/hottrends?
Disallow: /trends/viz?
Disallow: /trends/embed.js?
Disallow: /trends/fetchComponent?
Disallow: /trends/beta
Disallow: /musica
Disallow: /musicad
Disallow: /musicas
Disallow: /musicl
Disallow: /musics
Disallow: /musicsearch
Disallow: /musicsp
Disallow: /musiclp
Disallow: /urchin_test/
Disallow: /movies?
Disallow: /wapsearch?
Allow: /safebrowsing/diagnostic
Allow: /safebrowsing/report_badware/
Allow: /safebrowsing/report_error/
Allow: /safebrowsing/report_phish/
Disallow: /reviews/search?
Disallow: /orkut/albums
Disallow: /cbk
Allow: /cbk?output=tile&cb_client=maps_sv
Disallow: /maps/api/js/AuthenticationService.Authenticate
Disallow: /maps/api/js/QuotaService.RecordEvent
Disallow: /recharge/dashboard/car
Disallow: /recharge/dashboard/static/
Disallow: /profiles/me
Allow: /profiles
Disallow: /s2/profiles/me
Allow: /s2/profiles
Allow: /s2/oz
Allow: /s2/photos
Allow: /s2/search/social
Allow: /s2/static
Disallow: /s2
Disallow: /transconsole/portal/
Disallow: /gcc/
Disallow: /aclk
Disallow: /cse?
Disallow: /cse/home
Disallow: /cse/panel
Disallow: /cse/manage
Disallow: /tbproxy/
Disallow: /imesync/
Disallow: /shenghuo/search?
Disallow: /support/forum/search?
Disallow: /reviews/polls/
Disallow: /hosted/images/
Disallow: /ppob/?
Disallow: /ppob?
Disallow: /accounts/ClientLogin
Disallow: /accounts/ClientAuth
Disallow: /accounts/o8
Allow: /accounts/o8/id
Disallow: /topicsearch?q=
Disallow: /xfx7/
Disallow: /squared/api
Disallow: /squared/search
Disallow: /squared/table
Disallow: /qnasearch?
Disallow: /app/updates
Disallow: /sidewiki/entry/
Disallow: /quality_form?
Disallow: /labs/popgadget/search
Disallow: /buzz/post
Disallow: /compressiontest/
Disallow: /analytics/feeds/
Disallow: /analytics/portal/
Disallow: /analytics/uploads/
Allow: /alerts/manage
Allow: /alerts/remove
Disallow: /alerts/
Allow: /alerts/$
Disallow: /ads/search?
Disallow: /ads/plan/action_plan?
Disallow: /ads/plan/api/
Disallow: /ads/hotels/partners
Disallow: /phone/compare/?
Disallow: /travel/clk
Disallow: /hotelfinder/rpc
Disallow: /hotels/rpc
Disallow: /flights/rpc
Disallow: /commercesearch/services/
Disallow: /evaluation/
Disallow: /chrome/browser/mobile/tour
Disallow: /compare/*/apply*
Disallow: /forms/perks/
Disallow: /shopping/suppliers/search
Disallow: /ct/
Disallow: /edu/cs4hs/
Disallow: /trustedstores/s/
Disallow: /trustedstores/tm2
Disallow: /trustedstores/verify
Disallow: /adwords/proposal
Disallow: /shopping/product/
Disallow: /shopping/seller
Disallow: /shopping/reviewer
Disallow: /about/careers/apply/
Disallow: /about/careers/applications/
Disallow: /landing/signout.html
Disallow: /webmasters/sitemaps/ping?
Disallow: /ping?
Disallow: /gallery/
Disallow: /landing/now/ontap/
Allow: /searchhistory/
Allow: /maps/reserve
Allow: /maps/reserve/partners
Disallow: /maps/reserve/api/
Disallow: /maps/reserve/search
Disallow: /maps/reserve/bookings
Disallow: /maps/reserve/settings
Disallow: /maps/reserve/manage
Disallow: /maps/reserve/payment
Disallow: /maps/reserve/receipt
Disallow: /maps/reserve/sellersignup
Disallow: /maps/reserve/payments
Disallow: /maps/reserve/feedback
Disallow: /maps/reserve/terms
Disallow: /maps/reserve/m/
Disallow: /maps/reserve/b/
Disallow: /about/views/
Disallow: /intl/*/about/views/

User-agent: Twitterbot
Allow: /imgres

User-agent: facebookexternalhit
Allow: /imgres

Sitemap: http://www.gstatic.com/culturalinstitute/sitemaps/www_google_com_culturalinstitute/sitemap-index.xml
Sitemap: http://www.gstatic.com/earth/gallery/sitemaps/sitemap.xml
Sitemap: http://www.gstatic.com/s2/sitemaps/profiles-sitemap.xml

Sitemap: https://www.google.com/sitemap.xml

Comentarios

Publicar un comentario

Entradas populares de este blog

Alter..Oracle

Imagen
Para poder modificar un campo de una tabla, el campo debe estar sin datos y la sintaxis es : ALTER TABLE nombre_tabla MODIFY(campo tipo(longitud)); ****************************************************************************** Buscar una tabla ****************************************************************************** select table_name from user_tables where tablE_NAME like '%ACTIVIDAD%'; TABLE_NAME ------------------------------ CT_ACTIVIDAD MTACTIVIDADES MTACTIVIDADES2 MT_ACTIVIDAD **************************************************************************** Crear una secuencia **************************************************************************** como en oracle no existe como tal el autonumerico utilizaremos una secuencia la sintaxis es la siguiente:: CREATE SEQUENCE nombre_secuencia INCREMENT BY numero_incremento START WITH numero_por_el_que_empezara *************************************************************************** consultar la secuencia en php ***********...
Leer más

Robo de identidad

por: Marian Merritt El año pasado, la Comisión Federal del Comercio recibió más de 250.000 reclamaciones sobre identidades robadas. Pero esta cifra representa únicamente los casos que fueron denunciados. El robo de identidad es la principal denuncia de los consumidores que se presentan ante la Comisión Federal del Comercio. Por supuesto, el robo de su información de identidad no es el aspecto más perjudicial del delito, sino lo que el delincuente hace con esa información. Fraude con tarjetas de crédito. Estafas con préstamos hipotecarios y servicios. Cuentas bancarias vaciadas. Un delito de dos etapas El robo de identidad es un proceso que se realiza en dos pasos. En primer lugar, alguien roba su información personal. En segundo lugar, el ladrón utiliza esa información para hacerse pasar por usted y cometer el fraude. Es importante comprender este enfoque de dos pasos, ya que su defensa también debe operar en ambos niveles. Proteja su información Proteja su información pers...
Leer más

IPhone 3g chino (imitación perfecta)

Imagen
Estaba decidido a cambiar mi telefono por uno nuevo, y la vista la tenia en un iphone que me vendian muy barato nuevo todo por la cantidad de $3000.00, tenia la preocupación de que fuera imitación, por el precio, el dia que me lo enseñaron. todo era perfecto. para mi era el iphone original. igual al de un amigo solo que el si habia comprado en iphone store. Este iphone no cambia en nada sobre la carcasa es identica. Este iphone no trae todos los idiomas, solo traia 6 idomas ingles, italiano, aleman,LNu, chino, otro. busque por la red y pense que solo era actualizar el firmware al 2. x x al conectar este iphone al itunes no lo detecto para poder realizar la actualización, aqui me convenci de que lo que tenia en mis manos era una admirable imitacion de un iphone. perfacta la imitación es por eso que muchos pagan la cantidan en mexico arriba de los $3000 pesos, siendo que una compañia solo vende por mayoreo estos telefonos a menos de 150 dolares. al parecer la empresa de Apple fue la...
Leer más