初衷
为了更好地展示respage01的数据，我想获取当天数据与之前数据的差集，从而得到当天是否有店面减少或者增加，其次我想统计所有历史数据的总量。
使用redis的set计算功能并django接口化
以上的需求可以用的redis的原生命令便可轻松实现，但是我们还是想接口化，那还需要改造下我们的定时爬取脚本。将每天的计算结果同步的mysql。
更新redisToMysql.py
新增4个key用来储存计算结果
* trainunion 存储截止到当天的所有数据的并集；
* trainuniontmp 存储除了当天之外的所有数据的并集；
* trainnew 用于存储当天新增的店面
* traingone 用于存储当天减少的店面
127.0.0.1:6379> KEYS *
1) "trainunion"
2) "trainuniontmp"
3) "trainnew"
4) "traingone"
def getUnionData(re):
"""
获得所有数据的并集并保存到trainunion中
:param re:
:return:
"""
keyList = getKeyList(re)
re.sunionstore(tool.getFileKey() + 'union', keyList)
try:
re.delete(tool.getFileKey() + 'unionmp')
except Exception as e:
pass
finally:
re.sunionstore(tool.getFileKey() + 'uniontmp', getKeyListExceptToday(re))
def getNewDiffData(re):
"""
获取新增的数据
:param re:
:return:
"""
today = time.strftime("%Y_%m_%d")
if 'train_' + today in getKeyList(re):
re.delete(tool.getFileKey() + 'new')
re.sdiffstore(tool.getFileKey() + 'new', tool.getFileKey() + '_' + today, tool.getFileKey() + 'uniontmp')
else:
pass
def getGoneDiffData(re):
"""
获取消失的数据
:param re:
:return:
"""
today = time.strftime("%Y_%m_%d")
if tool.getFileKey() + '_' + today in getKeyList(re):
re.delete(tool.getFileKey() + 'gone')
re.sdiffstore(tool.getFileKey() + 'gone', tool.getFileKey() + 'union', tool.getFileKey() + '_' + today)
else:
pass
新增接口
按需求，新增三个接口：
* 获取当天与之前所有数据的交集中新增的部分
* 获取当天与之前所有数据的交集中减少的部分
* 获取当天为止所有数据的并集
目前的状态是这样的：
image.png基本成型后续优化
从爬取的数据上看，消失门店数波动很大，这个怀疑和爬取的误差有关，这个需要花时间去确认以及微调一下。从几天的数据上看，整体的波动很小，这可能可以起到一个监控的作用，当量级突变时可以做出一些投资决策。