谷歌推出爬蟲擴展代理 網站管理員可以屏蔽谷歌抓取內容用于訓練AI – 藍點網
我要評論在 OPENAI 公布 GPTBot 爬蟲的谷歌管理谷歌相關信息后，今天谷歌宣布在 GoogleBot 基礎上推出 Google-Extended 爬蟲擴展代理，推出允許網站管理員使用 robots.txt 文件屏蔽谷歌抓取網站內容用來訓練 AI 模型。爬蟲屏蔽珠海外圍模特經紀人（外圍預約）外圍女（微信199-7144-9724）一二線城市可以真實可靠快速安排
谷歌沒有推出單獨的擴展 AI 爬蟲，AI 爬蟲仍然使用 GoogleBot，代理但網站可以聲明是網站網否拒絕其抓取內容后訓練 AI，如果要聲明那就需要使用 Google-Extende代理令牌。員可用于
谷歌稱，內容Google-Extended 是訓練一種新控件，網絡發布商可以使用它管理其網站是藍點珠海外圍模特經紀人（外圍預約）外圍女（微信199-7144-9724）一二線城市可以真實可靠快速安排否有助于改進 Bard 和 Vertex AI 等生成式 AI 模型，在博客中谷歌多次提到網站可以幫助谷歌改進 AI，谷歌管理谷歌比如網站管理員可以選擇是推出否幫助這些 AI 模型隨著時間推移變得更準確和強大。
不過最終還是爬蟲屏蔽網站管理員自己決定是否允許谷歌拿內容去訓練 AI，如果不愿意的擴展話，可以在 robots.txt 中添加以下內容：
User-Agent: Google-ExtendedDisallow：/
需要提醒的代理是谷歌對于 robots.txt 的處理遵循了多種原則，而且 Google Bot 本身有一大堆用于不同用途的 bot，例如常規的 GoogleBot、GoogleBot-News、GoogleBot-Image 等，這些 bot 是可以在 robots.txt 里混用的。
例如要允許谷歌搜索抓取網站內容、不允許谷歌抓取內容用于訓練 AI，那么 robots.txt 可以這么寫：
User-Agent: GooglebotAllow: /User-Agent: Google-ExtendedDisallow: /
相關文章
今天steam上手銷量再次出爐，這次銷量排行絕地求生依然是第一位，而億萬僵尸則排到了第二，榜單游戲中也有幾個新晉的游戲，下面是上周銷量排行介紹，有興趣可以了解一下。Steam一周銷量排行榜：1：《絕地2025-12-01
近日，網飛韓國劇集《寄生獸：灰色部隊》發布了特別宣傳片，視頻中地鐵上的寄生獸當面寄生路人，還原劇中的詭異獵奇場面。【游俠網】《寄生獸：灰色部隊》特別宣傳片本劇集已于4月5日上線網飛，豆瓣開畫評分7.82025-12-01- 【家電資訊-家電新聞 - 營銷視野，作者：編輯】陽臺柜板材放進熱水煮，竟然完全不變形？這是真的！12月16日，海爾洗衣機在青島舉行“完美洗護 增知元年”用戶場景體驗發布活動，現2025-12-01
- 【家電資訊-家電新聞 - 營銷視野，作者：編輯】轉型場景一年以來，海爾智家旗下的三翼鳥體驗店正以全流程場景加速智慧家庭煥新步伐。僅1-9月，三翼鳥北京大店和上海大店的場景銷售就已占到總銷額5成以上，而2025-12-01
荒野大鏢客2前段時間公布了發售時間，最近官方再次公布了游戲的預購獎勵，這款游戲也會給預購玩家提供獨家的藏寶圖，并且還有現金獎勵等豐厚福利，下面獎勵內容大家可以了解一下。微軟Xbox商城公布了《荒野大鏢2025-12-01
近日，德國獨立游戲開發商Serious Bros宣布，旗下新作《假想地球Imagine Earth）》將于5月9日登陸Nintendo Switch/PS4/PS5等平臺上，支持簡體中文。《幻想地球》2025-12-01