电商案例 “国民级”连锁零售商如何与爬虫作斗争,电商行业的典型案例分析-ESG跨境

电商案例 “国民级”连锁零售商如何与爬虫作斗争,电商行业的典型案例分析

电商案例全国连锁零售商如何对抗爬虫

规模效应能带来各种收益是不言而喻的，但相应的价值和风险往往是并存的。任何系统的规模越大，价值越高，随之而来的安全风险就越大。对于互联网上的数字资产，如大型数字平台、用户个人信息等，价值与风险并存的问题更加突出。超市和零售商就是这种情况。

名副其实的“国家级”零售商

一家知名的海外连锁超市和零售商，主要销售生鲜食品、服装和家居用品，拥有超过3350家实体店，每周服务近2900万顾客。开展电子商务业务后，经过一段时间的发展，他们的注册在线会员数已经达到1230万，电子商务网站的日点击量高达8亿次。

生意红火固然可喜，但随之而来的烦恼也着实让人头疼。

网络爬虫防不胜防

自疫情爆发以来，大量用户开始通过电子商务服务购买日常所需。该零售商的电子商务业务取得了大幅增长，注册用户数量和网站点击量都有显著增长。据统计，自疫情发生以来，他们的网络流量增长了200%以上。

面对流量的突然增加，零售商并没有在意，开始考虑流量是不是真正的客户带来的。他们怀疑部分流量可能来自各种带有一些恶意目的的计算机程序。这种被称为Bot的计算机程序会自动访问网站页面，并执行一些恶意操作。但由于缺乏合适的工具，他们无法通过技术手段验证自己的猜测。

为了省事，很多人在注册各种网站时习惯使用同一个用户名和密码，而一旦某个网站的这些信息泄露，用户在其他所有网站注册的账号都会受到威胁。攻击者使用爬虫试图通过这些泄露的账号凭证逐一登录不同的网站，这就是所谓的数据库碰撞。一旦找到可用账户，然后将账户内的余额、积分等有价值的资产进行消费或转移，甚至直接使用账户捆绑的支付方式进行“盗取”。

怀疑存在这种威胁，但缺乏验证和查证的技术手段，自然对各种交通流的具体情况缺乏进一步的了解，难以采取有针对性的防范措施。

不仅如此，这种疑似恶意爬虫还对公司的合规运营提出了挑战。根据相关法律法规的要求，企业必须充分保护客户数据。一旦不慎泄露客户信息，将承担极其严重的后果和高额罚款。

除了安全和合规问题，一些爬虫还会给零售商的业务运营带来麻烦。经理还怀疑自己的网站被竞争对手的数据抓取了，对方自动抓取了产品价格、库存数量等信息。因为他们经常发现有几个固定的IP地址会定期访问他们的网站，而且都是会造成非常大的流量，这看起来根本不像是普通客户的行为。但由于缺乏证据，他们目前只是持怀疑态度。

可能很多人不太了解，但其实这种Bot爬虫已经成为现代互联网Web应用面临的最大公敌之一。根据Akamai的统计，2021年Q2有700亿次账号滥用攻击，Q/Q增长了15%。而这种攻击是WAF无法缓解的。更令人担忧的是，Akamai多次检测到日峰值超过10亿次的恶意登录行为。

除了数量越来越多，爬虫攻击的形式也越来越丰富，撞库攻击、银行卡攻击、囤积股票、薅羊毛、礼品卡攻击等都是常见的形式和目标。而且爬虫攻击越来越智能化、分布式，可以模拟人类的行为特征，绕过常见的Web安全设备和检测机制(如“验证码”)。

机器人经理，固若金汤

面对爬行动物带来的各种风险，零售商有三个主要需求:

希望增强爬虫的可见性，通过详细的数据分析和结论，更准确地评估和缓解爬虫的风险。

希望尽可能避免竞争对手的数据抓取行为。

更好地保护客户数据，满足相关政府和行业法律法规的合规性要求。

Akamai Bot Manager以灵活的服务模式和强大的功能满足了这家零售商的需求。

在可见性方面，Bot Manager有一个自动管理的已知爬虫列表，它已经覆盖了超过1，500个已知爬虫。此外，它还可以使用AI模型来检测未知的爬虫，分析用户行为，识别浏览器指纹。通过这种方式，零售商可以获得实时的整体趋势、行业洞察和爬虫流量的详细分析，从而做出更有针对性的防御措施。

Bot管理人在防止恶意竞争方口罩有出色的监控能力。结合Akamai全球化平台，Bot Manager每天可以收集115亿次爬虫请求和2.8亿次爬虫登录，可以从丰富的数据分析中得出精准的洞察。该零售商尚未开始正式部署，但仅处于概念验证阶段。Bot Manager已经帮助他们成功发现了某全球知名电商网站抓取自己网站的证据，甚至分析出了对this 基础的攻击的行为特征，包括源地址、攻击时间、定向抓取价格的行为特征等。

在合规运营方面，由于能够准确获取与恶意爬虫行为相关的洞察，并针对不同行为和目的的爬虫采取针对性的对策，零售商期望在Bot Manager的帮助下能够更好地防止撞库和凭证滥用，并利用Akamai强大的machine 学习算法和全局规模及洞察来改善其安全合规运营状况。

根据Ponemon Institute的统计，每年与库冲突相关的总成本(包括欺诈相关的损失、运营安全、应用程序停机和客户流失)可能达到600万美元至5400万美元。Akamai自己的观察和统计也发现，爬虫已经占到网站总流量的30%70%之多。

Akamai network每天处理全球网络流量的很大一部分，包括世界上一些最大和最常被攻击的网站。Akamai具有独特的优势，能够深入了解合法应用程序的使用情况以及恶意爬虫不断演变的攻击行为。它拥有最新的爬虫检测技术，已被证明能够识别当今最复杂的爬虫程序。

而且，Bot Manager还利用多种专利技术，在爬虫首次接触网站时，尽早对其进行检测和防御，防止其进入网站。通过Akamai长期不断的检测和改进，即使威胁在不断发展变化，也能让用户得到妥善的保护。

特别声明：以上文章内容仅代表作者本人观点，不代表ESG跨境电商观点或立场。如有关于作品内容、版权或其它问题请于作品发表后的30日内与ESG跨境电商联系。