博客
关于我
56平住房卖2万,新房价变白菜价?爬取全国315个城市的房价信息
阅读量:628 次
发布时间:2019-03-14

本文共 865 字,大约阅读时间需要 2 分钟。

前言

今天来使用爬虫技术,爬取全国315个城市的房价信息。

大家都知道 房价信息是非常有价值的,敏感的,对于一些人来说是投资赚钱的一种重要渠道。能够及时的获取房价涨跌信息,甚至用大数据分析市场行情,这对于投资是非常有利的

PS:如有需要Python学习资料的小伙伴可以加下方的群去找免费管理员领取

 

可以免费领取源码项目实战视频PDF文件

 

所以,这种信息爬取的难度也是较大的。

我一开始使用requests库,发现反爬机制比较厉害,而且网页的数据结构容易变化。然后我用selenium 爬取,配置好参数,使用本地浏览器,依次爬取32页数据,共630条房价信息。

我贴出部分代码供参考:

def parse():    global start,end    try:        for i in range(start,end):            name = driver.find_element_by_xpath('//*[@id="px"]/tbody/tr[%s]/th[2]/a'%(i)).text            price = driver.find_element_by_xpath('//*[@id="px"]/tbody/tr[%s]/th[3]'%(i)).text            row = [name,price]            print(row)            sheet.append(row)    except:        print("到底了!")

最后的结果通过代码自动发送到QQ邮箱,效果如下:

 

共315个城市,想要获取数据的朋友可以联系我,提供实时的房价信息。

得到表格,进行数据分析,用excel,进行数据的处理,绘制成统计图:

 

我们可以看到,全国房价的前三名分别是:

深圳:北京,上海。

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。

作者:弄堂里的一只汪

转载地址:http://vjioz.baihongyu.com/

你可能感兴趣的文章
mysql5.7示例数据库_Linux MySQL5.7多实例数据库配置
查看>>
Mysql8 数据库安装及主从配置 | Spring Cloud 2
查看>>
mysql8 配置文件配置group 问题 sql语句group不能使用报错解决 mysql8.X版本的my.cnf配置文件 my.cnf文件 能够使用的my.cnf配置文件
查看>>
MySQL8.0.29启动报错Different lower_case_table_names settings for server (‘0‘) and data dictionary (‘1‘)
查看>>
MYSQL8.0以上忘记root密码
查看>>
Mysql8.0以上重置初始密码的方法
查看>>
mysql8.0新特性-自增变量的持久化
查看>>
Mysql8.0注意url变更写法
查看>>
Mysql8.0的特性
查看>>
MySQL8修改密码报错ERROR 1819 (HY000): Your password does not satisfy the current policy requirements
查看>>
MySQL8修改密码的方法
查看>>
Mysql8在Centos上安装后忘记root密码如何重新设置
查看>>
Mysql8在Windows上离线安装时忘记root密码
查看>>
MySQL8找不到my.ini配置文件以及报sql_mode=only_full_group_by解决方案
查看>>
mysql8的安装与卸载
查看>>
MySQL8,体验不一样的安装方式!
查看>>
MySQL: Host '127.0.0.1' is not allowed to connect to this MySQL server
查看>>
Mysql: 对换(替换)两条记录的同一个字段值
查看>>
mysql:Can‘t connect to local MySQL server through socket ‘/var/run/mysqld/mysqld.sock‘解决方法
查看>>
MYSQL:基础——3N范式的表结构设计
查看>>