跨境电商系列|电商行业的爬虫识别与管理

原标题：跨境电商系列 | 电商行业的爬虫识别与管理

当今数字化时代，几乎每个行业都意识到“流量”的重要性。以电商为例，流量意味着曝光量，意味着客户感知度，意味着口碑，意味着潜在客户，也意味着商机……

然而您所获得的全部流量，真的就都是有益的，都能对业务产生积极影响吗？那也未必！

爬虫，流量获取之路上一个绕不过的坎儿

作为全球领先的IT技术和服务提供商，Akamai致力于通过智能边缘平台为全球企业提供安全、流畅的数字化体验。凭借遍及全球135个国家/地区的庞大规模与丰富服务。Akamai目前已承载了30%的全球互联网流量。经分析发现，这其中只有约60%的流量是真实用户产生的，其余40%的流量都来自于各种爬虫。

爬虫又是什么？简单来说，爬虫是一种自动运行，在互联网上检索各类信息（这一过程也叫做“爬取”）的程序。例如每个人可能都会使用的搜索引擎，就是事先由搜索引擎的爬虫程序爬取全网的网页，了解不同网页包含了哪些信息，随后才能为我们提供搜索结果。

具体到电商领域而言，根据Akamai统计，电商行业所产生的流量中，来自真实用户以及来自爬虫的流量几乎处于对半分的状态。也就是说，电商IT系统所处理的流量，约有50%都来自于各类爬虫程序。

其中包括来自搜索引擎、广告平台、社交媒体、测试平台等商家真正需要的爬虫（可称为“善意爬虫”）；当然，不可避免地会有竞争对手爬取商品价格库存等信息，或恶意人员开展撞库攻击的，商家不需要并且希望尽可能避免的爬虫（此类可叫做“恶意爬虫”）。

恶意爬虫的影响，往往是多方面的

从IT的视角来看，如果50%的电商流量都是爬虫产生的，那么其中源自各类恶意爬虫的流量占比也不会小。这意味着企业为应对业务增长而准备的IT容量中，很大一部分都被各类不需要的恶意爬虫流量消耗了。换句话说，恶意爬虫流量在影响Web系统性能的同时，也进一步增加了基础设施和运维等各方面成本。

从业务视角来看影响更大。竞争对手恶意爬取价格、库存等信息，会直接削弱商家竞争力；“黄牛党”和“羊毛党”利用爬虫干扰正常新品首发或促销活动，导致失去销售机会甚至影响到商家与客户的关系；发起撞库攻击的爬虫甚至会导致用户账号、账户余额、积分失窃等更严重后果，导致商家声誉受到影响，甚至在某些情况下造成不合规或罚款。