写在开头

  只要是建站，那就难免会被爬虫爬取整个网站，有一些是搜索引擎爬虫，我在网站设置了robots.txt，搜索引擎爬虫会根据文件之中的规则进行爬取。但其他就是恶意爬虫，寻找网站弱点，爬取网站重要消息。

CloudFlare设置WAF

  点击进入需要设置WAF的网站，点击安全性。点击WAF，点击创建规则开始创建自定义规则。

我在网站上是创建了三天规则，分别是

• 探针: 放行我自己监控探针进入；
• SEO：放行搜索引擎爬虫；
• 区域外质询：对存在恶意流量进行质询或者拦截。

创建SEO规则

  填写规则名称 –> SEO

  点击编辑表达式在表达式框之中填入下面内容，放行常见SEO爬虫，如有其他内容，自定义添加即可。

(cf.client.bot) or (http.user_agent contains "Googlebot") or (http.user_agent contains "Bingbot") or (http.user_agent contains "DuckDuckBot") or (http.user_agent contains "Baiduspider") or (http.user_agent contains "Yahoo! Slurp") or (http.user_agent contains "YandexBot") or (http.user_agent contains "360Spider") or (http.user_agent contains "Sogou Spider")

(cf.threat_score ge 5 and cf.client.bot) or (not http.request.version in {"HTTP/2" "HTTP/3"}) or (not ip.geoip.country in {"CA" "CN" "FR" "DE" "HK" "JP" "KR" "MY" "SG" "TW" "GB" "US"})

成果展示

  前往侧边栏安全性，事件，可以看见自定义规则拦截或者放行的事件。