各位老鐵大家好，上次我們分享了一個(gè)小技巧，《如何防止對(duì)手用builtwith輕松扒我們網(wǎng)站》。我們這次再分享一個(gè)威力加強(qiáng)版，以這個(gè)網(wǎng)站為例，我們餓用builtwith看到他屏蔽了一些常用的爬網(wǎng)站流量的工具，比如：semrush, ahrefs, majestic,? 
熟悉獨(dú)立站的同學(xué)都知道我們經(jīng)常用三駕馬車——similarweb, semrush, ahrefs去把隔壁老王扒得內(nèi)（和諧）褲都不剩。所以當(dāng)我們網(wǎng)站流量起來(lái)，也要學(xué)會(huì)防止老王反爬我們，還是很有必要的，那具體怎么做呢？只要把下面的代碼，分別加到你網(wǎng)站的?robots.txt一般你的SEO負(fù)責(zé)人，IT或者網(wǎng)管都會(huì)知道怎么做。詳情參考官方文檔,我在這里面已經(jīng)列在下面了：
Semrush用以下代碼
官方說(shuō)明：https://www.semrush.com/bot/ser-agent: SemrushBotDisallow: /
Ahrefs用以下代碼
官方說(shuō)明：https://ahrefs.com/robot
User-agent: AhrefsBot
Disallow: /
Majestic用以下代碼
官方說(shuō)明：https://www.mj12bot.com/index.html
User-agent: MJ12bot
Disallow: /
BuiltWith
http://builtwith.com/removals
Similar比較牛逼，我暫時(shí)沒(méi)找到很好的辦法弄他，知道的老鐵可以告訴我，但當(dāng)我們的網(wǎng)站大到足矣入Simiarweb法眼的且數(shù)據(jù)還準(zhǔn)確的時(shí)候，我們又有何懼哉？上面幾個(gè)加了，那基本上就可以防止至少大半老王去爬你的網(wǎng)站了，當(dāng)然這個(gè)更多防君子不防小人了，至少增加他們研究我們的難度。大家有任何問(wèn)題，歡迎隨時(shí)跟我繼續(xù)交流啊！謝謝大家！
作者：Alan 來(lái)源：Alan
本文為作者獨(dú)立觀點(diǎn)，不代表出海筆記立場(chǎng)，如若轉(zhuǎn)載請(qǐng)聯(lián)系原作者。
