網絡爬蟲正在成為政務網站們最大的威脅之一。隨著網絡安全被提升到國傢層面，網站安全管理和防護日趨重要，政務網站既要確保網站信息的及時和準確，又要能應對網絡惡意攻擊等安全事件。目前，政務服務廣泛分佈在交通、社保、民政、旅遊、公共安全等多個領域，數據數量大、且大多和國計民生緊密關聯，涉及公民個人隱私、企業商業秘密等信息，數據開放性需求帶來其附加價值高。一旦遭到攻擊，後果不堪設想。比如，2019年，最高人民法院發佈的《關於“中國裁判文書網”網站建設建議的答復》提到，“大量技術公司通過爬蟲系統無限制地訪問非法獲取裁判文書數據，造成網站負荷過大，大量正常用戶請求堵塞，訪問出現速度慢或部分頁面無法顯示等現象。”此外，數據顯示，在針對網站的攻擊中，60%的攻擊對象均是政務類網站，攻擊方式也是花樣頻出，其中國內政府網站40%—60%的網絡流量均來自爬蟲，在提供公眾查詢的服務性網站業務中，這一比例甚至更高。圖源網絡黑灰產為何盯上政務網站？網絡爬蟲，又被稱為網頁蜘蛛，網絡機器人，是按照一定的規則，自動地抓取網絡信息和數據的程序或者腳本。通俗點講，網絡爬蟲模擬人的行為，用程序代替瞭人的操作，從一個鏈接跳轉到下一個鏈接，就像是在網絡上爬行一樣遍歷網頁。爬蟲跳轉、打開、瀏覽等動作比人的速度快，瀏覽的網站的層次也更深，所以被稱為網絡爬蟲。頂象與中國信通院聯合發佈的《數字業務安全白皮書》認為，惡意網絡爬取會帶來數字資產損失、用戶隱私泄露和擾亂業務正常運行等三大危害，並將其列為十大業務欺詐手段之一。政務網站擁有大量的信息和數據以及需要較高的穩定性和可用性。而這類系統本身所擁有的大量信息，也成為攻擊者覬覦的目標。一方面，攻擊者利用爬蟲程序獲取公開信息，產生大量請求，使得該政務服務網站無法響應請求，形成CC攻擊，造成正常用戶無法訪問，或是查詢服務體驗下降。黑產可利用從該政務服務網站獲取的信息進行對外收費查詢業務，造成不良的社會影響。另一方面，除瞭利用爬取數據進行牟利，更有甚者，直接挪用政府公眾服務類網站所有網頁及信息，進行網站克隆。克隆網站通常擁有與真實網站高度相似的域名和首頁，用戶一般難以辨認。然而當民眾打開一個明為提供國計民生服務、實為不法平臺的克隆網站，不僅會看到許多不堪入目的廣告，甚至會在不知不覺中被引誘點擊詐騙鏈接。網絡爬蟲對政務網站的直接影響是，政府網站被大規模攻擊後，網頁打開緩慢、無法正常處理業務等問題會嚴重影響用戶的使用。為此許多政府網站已經投入大量人力和資金，但在不斷更新迭代的自動化攻擊面前，改善並不明顯。“爬蟲攻擊網站——系統宕機——用戶投訴——耗資維護”這一過程似乎已經成為一種惡性循環。如何反爬？頂象反爬解決方案依托多年攻防對抗實戰經驗，提供瞭動態策略的精準防護；全鏈路縱深防護，避免“爬蟲”的單點繞過；多維度防禦，有效攔截各種惡意“爬蟲”行為；無感的人機交互驗證，有效反爬又不影響正常用戶體驗。1、保障通信傳輸安全。黑灰產在業務通信傳輸的環節，可能會嘗試篡改、爬取報文數據。通過對通訊鏈路的加密，可防止終端安全檢測模塊的數據被篡改和冒用。2、加強業務安全策略防控。針對批量爬蟲的風險特征，可將社交媒體中各個業務查詢場景的請求接入業務安全風控系統。同時將終端采集的設備指紋信息、用戶行為數據等傳輸給風控系統，通過在風控系統配置相應的安全防控策略，有效地對風險進行識別和攔截。設備終端環境檢測。識別客戶端（或瀏覽器）的設備指紋是否合法，是否存在註入、hook、模擬器等風險。通常批量作弊軟件大多都存在以上風險特征。行為檢測。基於設備行為進行策略佈控。針對同設備高頻查詢，同IP高頻查詢，相同IP段反復高頻查詢的請求進行監控。名單庫維護。統計基於風控歷史數據，對於存在異常行為的賬號、IP段進行標註，沉淀到相應的名單庫。對於名單表內的數據在做策略時進行分層，適當加嚴管控。外部數據服務。考慮對接手機號風險評分、IP風險庫、代理郵箱檢測等數據服務，對於風險進行有效識別和攔截。3、定期對平臺、App的運行環境進行檢測，對App、客戶端進行安全加固，對通訊鏈路的加密，保障端到端全鏈路的安全。其次，部署基於頂象防禦雲、風控引擎和智能模型平臺，構建多維度防禦體系。4、智能驗證碼。作為防禦雲的一部分，頂象智能驗證碼能夠阻擋惡意爬蟲盜用、盜取數據行為。並能夠在註冊、登錄、查詢時，對惡意賬號、惡意爬取行為進行實時的核驗、判定和攔截。5、設備指紋。作為防禦雲的一部分，頂象設備指紋能夠對代碼註入、hook、模擬器、雲手機、root、越獄等風險做到有效監控和攔截。6、風控引擎。根據業務查詢場景的請求、客戶端采集的設備指紋信息、用戶行為數據行為（鼠標的滑動軌跡、鍵盤的敲擊速率、滑動驗證碼的滑動軌跡、速率、按鈕點擊等行為軌跡等），實現對惡意“爬蟲”行為的有效識別，基於安全防控策略，有效地惡意爬取行為進行識別和攔截。7、智能模型平臺。基於業務、爬取風險與反爬策略變化，構建專屬風控模型，實現安全策略的實時更迭，從而有效攔截各種惡意爬取風險。————————————————免費試用業務安全產品（https://user.dingxiang-inc.com/user/register#/）加入業務安全交流群（https://www.dingxiang-inc.com/blog/post/599）