这是一个小爬虫(腾讯位置服务|客留通 )
腾讯拥有国内海量的客流数据,客留通既做可视化,也向企业用户售卖数据接口。
当然,对于我等数据分析师来说,大部分情况下还是喜欢把数据拿到自己手里进行各种花式分析。
客留通的可视化部分,有些页面可以导出数据,通常一次点击能够导出一个月的。但还有些数据无法方便地批量导出,遂写一脚本直接获取对应json,然后在PowerQuery中处理。
不得不说,Python搞网抓,效率是真高;PowerQuery进行一些临时但又可复用的小清洗,效率也是绝了。 两者搭配,干活不累。
Core文件夹里面存放的是核心代码,外面存放的是一些实际调用脚本。抓取到的json会存放到Output文件夹中(该文件夹不存在则会自动创建)。