一、Robots功能：用于約定允許，還是禁止搜索引擎抓取網(wǎng)站內(nèi)容。二、概念：Robots協(xié)議（也稱為爬蟲協(xié)議、機(jī)器人協(xié)議等）的全稱是“網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)”（RobotsExclusionProtocol），網(wǎng)站通過(guò)Robots協(xié)議告訴搜索引擎哪些頁(yè)面可以抓取，哪些頁(yè)面不能抓取。三、…
蜀ICP備 08009168號(hào)-6 · 川B2-20170012 · | 川公網(wǎng)安備 51019002000589號(hào) · | 四川省旅游電子商務(wù)協(xié)會(huì)（副會(huì)長(zhǎng)單位）
Copyright ? 2007-2025 Stourweb. All Rights Reserved | 四川思途智旅軟件有限公司 版權(quán)所有
小米
