3月22日，国务院办公厅发布“关于调整2019年五一劳动节假期”的通知。通知规定，五一劳动节假期由此前的一天调整为四天。通知发出几十分钟后，各个航空公司的B2C网站和旅游网站的机票查询量暴增，其中国际航班增长了10倍。在暴增的机票查询数据背后，有普大喜奔的人民群众，更有非法代理人操控的恶意“爬虫”。

什么是恶意“爬虫”？
“爬虫”是一种通用技术，最早应用在搜索引擎领域。主要是Python语言编写，用来批量、自动化采集网站数据的程序。
所谓恶意“爬虫”，就是部分航空服务代理人通过“爬虫”非法抓取航空公司B2C网站或官方App等平台上的机票信息，然后非法倒卖给他人以牟取利益。就在近日，顶象技术配合相关部门，监测到山东某机构专门爬取各大航空公司票务数据倒卖给其他中小代理人（该机构的业务已被关停）。
部分代理人利用“爬虫”爬取下票务信息后，再利用虚假的身份信息预订机票，但不付款。在航空公司允许的订票账期内，转售给真正需要购票的用户。这就导致部分机票并未售出，但是用户在航空公司查看时却显示已售罄。该行为称之为“虚假占座”。
恶意“爬虫”造成用户信息的泄露，浪费了航空公司带宽资源，白白消耗航空查询费用；而“虚假占座”不仅给航空公司和用户带来经济损失，损害了用户的合法权益，也扰乱航空公司的正常运营。更关键的是：由此带来订票量的波动导致航空公司收益管理系统算法产生误判，给出不符合实际情况的运价调整，损伤了用户权益以及平台的口碑。
顶象技术反欺诈中心监测发现，在国务院颁布五一劳动节假期安排后的72小时里内，多家航空公司网站的“爬虫”流量暴增。其中，虚假查票占总查询总量的36%以上，部分航空公司的虚假查票数字甚至高达99%。
恶意“爬虫”的几个特征
在长期反欺诈的攻防实战中，顶象反欺诈专家总结出了恶意“爬虫”的几个特征：
1、访问的目标网页比较集中：“爬虫”代理人目标明确，主要是爬取班次、价格、数量等核心信息，因此只浏览访问几个固定页面，不访问其他页面。
2、查询订票等行为很有规律：由于“爬虫”是程序化操作，按照预先设定的流程进行访问等，因此呈现出毫无思维、但很有规律、有节奏且持续的行为。
3、同一设备上有规模化的访问和操作：“爬虫”的目的是最短时间内抓取最多信息，因此同一设备会有大量离散的行为，包括访问、浏览、查询等。
4、访问来源IP地址异常：正常情况下用户在查询、购买时，用户的IP地址比较稳定，而且访问来源IP比较；“爬虫”、“虚假占座”等操作时，IP来源地址呈现不同维度上的聚集，而且浏览、查询、购票等操作时不停变化IP地址。
5、设置UA模拟浏览器和频繁使用代理IP：很多“爬虫”程序伪装成浏览器进行访问，比如在程序头或者UA中默认含有类似python-requests/2.18.4等固定字符串；并且通过购买或者租用的云服务、改造路由器、租用IP代理、频繁变更代理IP等进行访问。
6、操作多集中非业务时间段：“爬虫”程序运行时间多集中在无人值守阶段。此时系统监控会放松，而且平台的带宽等资源占用少，爬虫密集的批量爬取不会对带宽、接口造成影响。以下是顶象反欺诈中心监测到，凌晨1-5点是恶意“爬虫”的运行高峰时段。
航空传统“反爬”手段
防范恶意“爬虫”的关键就是有效辨别“爬虫”行为，进而及时阻断。传统的防御手段是通过IP和验证码进行限制，但是这两类手段有非常大的局限性。
通过IP地址进行限制：当同一IP、同一电脑在一定时间内访问网站的次数，系统自动限制其访问浏览等。但是，封禁IP的手段可能误伤真实用户，而且“爬虫”幕后的运营者随时可用购买或者租用的云服务、改造路由器、租用IP代理、频繁变更代理IP等方法绕过封禁的规则。
通过验证码进行限制：当某一用户访问次数过多后，就自动让请求跳转到一个验证码页面，只有在输入正确的验证码之后才能继续访问网站。但是设置复杂的验证码会影响用户操作，给客户体验带来负面作用。
顶象技术全链路防控体系让平台远离羊毛党

传统的手段或措施无法对恶意“爬虫”进行辨别，这就需要一套从客户端到业务端的全链路防控体系。
顶象反爬解决方案基于设备指纹对实现对各类风险和模拟器、真机的识别，以及Dinsight风险决策引擎毫秒级实时决策对行为分析（鼠标的滑动轨迹、键盘的敲击速率、滑动验证码的滑动轨迹、速率、按钮点击等行为轨迹等），实现对恶意“爬虫”行为的有效识别；通过智能无感验证的人机交互防护，直接拦截“爬虫”对敏感数据的爬取；利用Xintell智能模型平台建立基于业务场景的策略模型，从而对反爬效果进行实时优化，良好防范恶意爬取的风险。
顶象数据反爬解决方案依据多年攻防对抗实战经验，提供了动态策略的精准防护；全链路纵深防护，避免“爬虫”的单点绕过；多维度防御，有效拦截各种恶意“爬虫”行为；无感的人机交互验证，有效反爬又不影响正常用户体验。
截止目前，顶象技术已为中国国际航空、中航信、昆明航空等航空公司提供反爬、反虚假占座等反欺诈服务，助力航空业务健康发展。
亲历账号被盗！背后的产业链真相露出水面
重磅！顶象技术与威海蓝海银行达成合作
暴利现金贷遭遇滑铁卢后还有机会生还吗？
继续阅读
阅读原文