『RPA案例』采集贝壳网二手房源信息，房地产行业有多好看，数据有话说

最近使用影刀RPA写了个应用，可以采集贝壳网的二手房信息，亲测下来，贝壳网还比较人性化，用模拟浏览器采集，也不怎么进行反爬出验证码之类的，用http直接采集，就会出现验证码拦阻。当然也可能本次采集的数据只是列表页的数据，没有进入到详情页采集更丰富的数据，数据敏感性不高，但对于做点较粗的数据分析来说，也够用。

先在ke.com/city/网址上，采集到贝壳网的170+个有业务的城市。

接着循环打开这些城市列表，对其下面的区级别的页面进行采集

原始数据如下：

然后就可以简单透视一下，数据分析出：

上面的榜单，有几个城市页面异常，没法采集到区的总数，采集不到就用-1表示，所以会有几个负数的城市出现，可能这几个城市二手房数据也很可观，例如成都、佛山，都是优秀的房地产深度绑定城市。

有了上面的清单，接下来，就要玩大的，把每个个体的房源信息给采集出来。模拟采集过程中，最多翻页只能是100页，每页是30条记录，所以超过3000条的区，就要拆分一下。

在配置信息里，把这些拆分成小于3000条记录的，才能采集完整，这里以东莞市的采集为例，将南城这样的二手房大区，按价格段拆开，构造出一个链接来。

接着在影刀RPA的加持下，采集到了完整的房源信息。

房源的上级是小区，而小区里面有个不错的信息是小区的成交均价，从小区页面里采集到如南城区的链接（用房源链接里的区划分来构造出来）：https://dg.ke.com/xiaoqu/nanchengqu/

接着就采集到了小区的信息如下：

当然理想情况下，采集到的小区信息，应该是所有房源里的所属小区都包含在内，但事实上，还是会有些漏数据的情况发生，要补全下，把房源里采集到的所属小区，再补充下。

再次通过小区详情页来补充下信息

所幸运去重后的小区详情页不算太多，贝壳再次放行，可以全量采集到位。

有全量房源数据后，就可以刺激一点玩法，看看哪些房源的发布价，和它本小区成交的均价更低，来个降序排列，把极端低房源找出来，看看这些卖家有多心急卖房。

总结

在统计局成为第4驾马车后，我们日常看到的数据，失真性太大了，有必要自己去抓取一些真实数据来对比分析下，当然贝壳网的挂牌数据，肯定也很有水份，自己狠狠地给它打个8折再看呗。

有了RPA工具，可以较为舒服地采集到自己想要的数据，但话说看似简单的需求，也修修补补开发加测试搞了好几天，想要定制开发RPA程序，专业人做专业事，可以随时咨询联系笔者。

最后，想获取采集结果源文件来更多分析的，可以私信笔者，给您发送。