各位老鐵大家好,上次我們分享了一個(gè)小技巧,《如何防止對(duì)手用builtwith輕松扒我們網(wǎng)站》。我們這次再分享一個(gè)威力加強(qiáng)版,以這個(gè)網(wǎng)站為例,我們餓用builtwith看到他屏蔽了一些常用的爬網(wǎng)站流量的工具,比如:semrush, ahrefs, majestic,?
熟悉獨(dú)立站的同學(xué)都知道我們經(jīng)常用三駕馬車——similarweb, semrush, ahrefs去把隔壁老王扒得內(nèi)(和諧)褲都不剩。所以當(dāng)我們網(wǎng)站流量起來(lái),也要學(xué)會(huì)防止老王反爬我們,還是很有必要的,那具體怎么做呢?只要把下面的代碼,分別加到你網(wǎng)站的?robots.txt一般你的SEO負(fù)責(zé)人,IT或者網(wǎng)管都會(huì)知道怎么做。詳情參考官方文檔,我在這里面已經(jīng)列在下面了:
Semrush用以下代碼
官方說(shuō)明:https://www.semrush.com/bot/ser-agent: SemrushBotDisallow: /
Ahrefs用以下代碼
官方說(shuō)明:https://ahrefs.com/robot
User-agent: AhrefsBot
Disallow: /
Majestic用以下代碼
官方說(shuō)明:https://www.mj12bot.com/index.html
User-agent: MJ12bot
Disallow: /
BuiltWith
http://builtwith.com/removals
Similar比較牛逼,我暫時(shí)沒(méi)找到很好的辦法弄他,知道的老鐵可以告訴我,但當(dāng)我們的網(wǎng)站大到足矣入Simiarweb法眼的且數(shù)據(jù)還準(zhǔn)確的時(shí)候,我們又有何懼哉?上面幾個(gè)加了,那基本上就可以防止至少大半老王去爬你的網(wǎng)站了,當(dāng)然這個(gè)更多防君子不防小人了,至少增加他們研究我們的難度。大家有任何問(wèn)題,歡迎隨時(shí)跟我繼續(xù)交流啊!謝謝大家!
作者:Alan 來(lái)源:Alan
本文為作者獨(dú)立觀點(diǎn),不代表出海筆記立場(chǎng),如若轉(zhuǎn)載請(qǐng)聯(lián)系原作者。