# robots.txt for https://www.weatherbug.com/ user-agent: * # Disallow: /ad/ #Container for ad files Disallow: /O.*Z #Fix for robots thinking alert IDs are links # Disallow: /api/ #block Api crawling Disallow: /corporate/ #Fix for old corporate links # Limit local page exposure Disallow: /alerts/* Disallow: /life/* Disallow: /maps/* # Allow national pages Allow: ****************************************************************************************/alerts/$ Allow: ****************************************************************************************/alerts/weather/$ Allow: ****************************************************************************************/alerts/spark/$ Allow: ****************************************************************************************/alerts/hurricane/$ Allow: ****************************************************************************************/alerts/fire/$ Allow: ****************************************************************************************/alerts/pollen/$ Allow: ****************************************************************************************/alerts/airquality/$ Allow: ****************************************************************************************/alerts/severestormrisk/$ Allow: ****************************************************************************************/alerts/commuter/$ Allow: ****************************************************************************************/life/pollen/$ Allow: ****************************************************************************************/life/pollen$ Allow: ****************************************************************************************/life/cold-flu/$ Allow: ****************************************************************************************/life/outdoor-sports/$ Allow: ****************************************************************************************/life/snow-ski/$ Allow: ****************************************************************************************/life/travel/$ Allow: ****************************************************************************************/air-quality/$ # Disallow specific localized pages Disallow: *********************************************************/alerts/weather/* Disallow: *********************************************************/alerts/pollen/* Disallow: *********************************************************/alerts/commuter/* Disallow: *********************************************************/life/cold-flu/* Disallow: *********************************************************/life/outdoor-sports/* Disallow: *********************************************************/life/travel/* Disallow: *********************************************************/alerts/airquality/* Allow: *******************************/*-ak-* Allow: *******************************/*-al-* Allow: *******************************/*-ar-* Allow: *******************************/*-az-* Allow: *******************************/*-ca-* Allow: *******************************/*-co-* Allow: *******************************/*-ct-* Allow: *******************************/*-de-* Allow: *******************************/*-dc-* Allow: *******************************/*-fl-* Allow: *******************************/*-ga-* Allow: *******************************/*-hi-* Allow: *******************************/*-id-* Allow: *******************************/*-il-* Allow: *******************************/*-in-* Allow: *******************************/*-ia-* Allow: *******************************/*-ks-* Allow: *******************************/*-ky-* Allow: *******************************/*-la-* Allow: *******************************/*-me-* Allow: *******************************/*-md-* Allow: *******************************/*-ma-* Allow: *******************************/*-mi-* Allow: *******************************/*-mn-* Allow: *******************************/*-ms-* Allow: *******************************/*-mo-* Allow: *******************************/*-mt-* Allow: *******************************/*-ne-* Allow: *******************************/*-nv-* Allow: *******************************/*-nh-* Allow: *******************************/*-nj-* Allow: *******************************/*-nm-* Allow: *******************************/*-ny-* Allow: *******************************/*-nc-* Allow: *******************************/*-nd-* Allow: *******************************/*-oh-* Allow: *******************************/*-ok-* Allow: *******************************/*-or-* Allow: *******************************/*-pa-* Allow: *******************************/*-ri-* Allow: *******************************/*-sc-* Allow: *******************************/*-sd-* Allow: *******************************/*-tn-* Allow: *******************************/*-tx-* Allow: *******************************/*-ut-* Allow: *******************************/*-vt-* Allow: *******************************/*-va-* Allow: *******************************/*-wa-* Allow: *******************************/*-wv-* Allow: *******************************/*-wi-* Allow: *******************************/*-wy-* Sitemap: https://www.weatherbug.com/sitemap.xml