python 实战之深圳公租房户籍区排位分析

小编在深圳申请了公租房，虽然可以通过深圳市住房和建设局网站查询到排位信息，却无法直观看出同样资格人群里自己的排名。 于是决定用 python 爬取轮候库数据，解决这个问题。

爬取说明

爬取网址：http://www.szjs.gov.cn/bsfw/zdyw_1/zfbz/gxfgs/

2018 年 9 月 30 日爬取结果 data.txt

3955877,1,BHJ005840,1,南山区
3955878,2,BHJ005866,1,南山区
3955879,3,BHJ021327,2,南山区
3955880,4,BHJ005848,1,南山区
3955881,5,BHJ006961,4,南山区
3955882,6,BHJ016656,1,南山区
3955883,7,BHJ002199,1,南山区
3955884,8,BHJ029628,3,罗湖区
3955885,9,BHJ016179,3,盐田区
3955886,10,BHJ022242,1,罗湖区

数据分为 5 列，依次为:用户唯一标识（可以忽略）、排位、备案号、申请人数、户籍所在区。

此次先简单手工将数据文件导入 mysql 数据库，再用 sql 检索结果。

后续学习计划：
使用 python 将文本数据导入 mysql；
使用 ELK，将数据导入 elasticsearch，通过 kibana 展示分析；
做成在线功能放在的公众号（id:jintianbufaban），让非 IT 人员使用；

scrapy 爬取公租房数据

安装 scrapy 不再赘述，开始爬取功能开发。
第一步：创建爬虫项目，命名为 sz_security_housing

scrapy startproject sz_security_housing

下面是运行后的 scrapy 工程结构：

第二步：配置 items 文件 items.py

# -*- coding: utf-8 -*-

import scrapy

class SzSecurityHousingItem(scrapy.Item):
    #用户唯一id
    userid = scrapy.Field()
    #轮候排位
    seqno = scrapy.Field()

    #备案回执好
    applyNo = scrapy.Field()

    #申请人数
    num = scrapy.Field()

    #户籍所在地
    place = scrapy.Field()

第三步：在 spiders 文件夹中新建 sz_security_housing.py

# -*- coding: utf-8 -*-
import scrapy
from sz_security_housing.items import SzSecurityHousingItem
from scrapy.http import FormRequest
import json
import time

class SzSecurityHousingSpider(scrapy.Spider):
	#爬虫名，启动爬虫使用
	name = 'szsh'

     #爬虫域
	allowed_domains = ['szjs.gov.cn']

	def start_requests(self):
		url = 'http://bzflh.szjs.gov.cn/TylhW/lhmcAction.do?method=queryYgbLhmcList'

		headers = {
			'Accept': 'application/json, text/javascript, */*; q=0.01',
			'Accept-Encoding': 'gzip, deflate',
			'Accept-Language': 'zh-CN,zh;q=0.9',
			'Connection': 'keep-alive',
			'Content-Type': 'application/x-www-form-urlencoded',
			'Host': 'bzflh.szjs.gov.cn',
			'Origin': 'http://bzflh.szjs.gov.cn',
			'Referer': 'http://bzflh.szjs.gov.cn/TylhW/lhmcAction.do?method=queryYgbLhmcInfo&waittype=2',
			'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'
		}

		yield scrapy.FormRequest(
			url = url,
			headers = headers,
			formdata = {"pageNumber" : "1", "pageSize" : "10","waittype":"2","num":"0","shoulbahzh":"","xingm":"","idcard":""},
			meta={'pageNum':1,'pageSize':10,"headers":headers},
			callback = self.parse
        )


	def parse(self,response):
		item=SzSecurityHousingItem()
		data  = json.loads(response.body_as_unicode())
		# print(data)
		total = data["total"]
		# print(total)
		list = data["rows"]
		for value in list:
			item['userid']=value['LHMC_ID']
			item['seqno']=value['PAIX']
			item['applyNo']=value['SHOULHZH']
			yield item

		url = 'http://bzflh.szjs.gov.cn/TylhW/lhmcAction.do?method=queryYgbLhmcList'
		meta=response.meta
		prepageNumber=meta["pageNum"]
		pageSize=meta["pageSize"]
		headers=meta["headers"]
		print('finsh scrapy pageNumber:%s'%prepageNumber)
		print(len(list))
		time.sleep( 2 )
		pageNumber=prepageNumber+1
		if len(list) == pageSize:
			requestdata={"pageNumber" : "1", "pageSize" : "1000","waittype":"2","num":"0","shoulbahzh":"","xingm":"","idcard":""}
			requestdata['pageNumber']=str(pageNumber)
			requestdata['pageSize']=str(pageSize)
			meta['pageNum']=pageNumber
			# print(requestdata)
			yield scrapy.FormRequest(
				url = url,
				headers = headers,
				formdata =requestdata,
				meta=meta,
				callback = self.parse
       		)

第四步：配置管道文件 pipelines.py

# -*- coding: utf-8 -*-

from urllib import request
from lxml import etree
import re

class SzSecurityHousingPipeline(object):
	def process_item(self, item, spider):
		print(item)
		url='http://bzflh.szjs.gov.cn/TylhW/lhmcAction.do?method=queryDetailLhc&lhmcId=%s&waittype=2'%(item['userid'])
		print(url)
		try:
			response = request.urlopen(url,timeout=5)
			page = response.read()
			page = page.decode('utf-8')
			selector = etree.HTML(page)
			content=selector.xpath('//div[@class="leader_intro1"]')[1].xpath('string(.)')
			place = re.search('户籍所在区.*区',content).group().replace('户籍所在区：','')
			item['place']=place
			num=len(selector.xpath('//div[@class="leader_intro1"]'))-1
			item['num']=num
		except Exception:
			print ("Error:%s"%(item['seqno']))
		else:	
			print ("Success:%s"%(item['seqno']))
		ret=str(item['userid'])+','+str(item['seqno'])+","+str(item['applyNo'])+","+str(item['num'])+","+str(item['place'])+"\n"
		saveFile = open('data.txt','a')  
		saveFile.write(ret)  
		saveFile.close()  
		# print(item)

第五步：配置 settings.py

BOT_NAME = 'sz_security_housing'

SPIDER_MODULES = ['sz_security_housing.spiders']
NEWSPIDER_MODULE = 'sz_security_housing.spiders'


# Crawl responsibly by identifying yourself (and your website) on the user-agent
#USER_AGENT = 'sz_security_housing (+http://www.yourdomain.com)'

# Obey robots.txt rules
ROBOTSTXT_OBEY = True

# Configure item pipelines
# See https://doc.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
    'sz_security_housing.pipelines.SzSecurityHousingPipeline': 300,
}

第六步：在项目根目录运行程序，运行结果保存在 data.txt

scrapy crawl szsh

爬取结果 data.txt

3955877,1,BHJ005840,1,南山区
3955878,2,BHJ005866,1,南山区
3955879,3,BHJ021327,2,南山区
3955880,4,BHJ005848,1,南山区
3955881,5,BHJ006961,4,南山区
3955882,6,BHJ016656,1,南山区
3955883,7,BHJ002199,1,南山区
3955884,8,BHJ029628,3,罗湖区
3955885,9,BHJ016179,3,盐田区
3955886,10,BHJ022242,1,罗湖区

爬虫结果分析

第一步：数据导入 mysql
在 mysql 中建表 T_PRH_DATA

剩余的直接下一步，至此数据导入到 mysql。
第二步：查询户籍区排名
SELECT T.PLACE,T.NUM,COUNT(1) FROM T_PRH_DATA T 
WHERE T.SEQ_NO <=(SELECT D.SEQ_NO FROM  T_PRH_DATA D WHERE  D.APPLY_NO='备案号')
AND T.PLACE='户籍所在区' 
GROUP BY T.PLACE,T.NUM 

这里排序第 10 个为例，他（她）属于罗湖区、备案号：BHJ022242


以上这是这次的所有内容，源码地址:https://github.com/tianduo4/sz_security_housing
这是学习 python 的第一个练手项目，做的不好的请多多包涵。 使用过程中遇到问题，或者有更好建议欢迎留言。