目前百度圖片搜索也使用了與百度網頁搜索相同的spider,如果想禁止Baiduspider抓取網站上所有圖片、禁止或允許Baiduspider抓取網站上的某種特定格式的圖片文件可以通過設置robots實現:
禁止Baiduspider抓取網站上所有圖片
User-agent: Baiduspider
僅允許Baiduspider抓取網頁和.gif格式圖片
User-agent: Baiduspider
僅禁止Baiduspider抓取.jpg格式圖片
User-agent: Baiduspider
僅允許抓取網頁,禁止抓取任何圖片。
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.bmp$
允許抓取網頁和gif格式圖片,不允許抓取其他格式圖片
Allow: /*.gif$
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.png$
Disallow: /*.bmp$
Disallow: /*.jpg$