在模仿饿了么前端的项目中,商家菜品初始化是由后台字段控制的,所以需要前端在dom渲染时判断并修改菜品的数据。
在项目中有个需求是添加tag,为了装个叉,解决input只能定宽的问题,我决定用div模拟input框,实现输入区域能随文字宽度增加而增加的效果。
准备(可选):每个加密的文件头部都一个很明显的字符串PM9SCREW, 这样很容易被人猜到是用screw加密的.故在编译之前, 可以更改这个字符串(php_screw.h中), 例如,更改为PeterHu, 相应的下面的长度就不再是10了, 而是\tPeterHu\t,一共9个了
以前一直使用的php作为爬虫,因为量不大,php也比较熟悉,写起来比较快。最近初识Python,趁机研究了一下Scrapy,结合angularjs实现豆瓣阅读器使用。
- 使用Mysql存储数据(Redis也可以用来任性)
- Scrapy初始化时加载自定义的扩展。主要是查询数据库获取已经爬取的数据,保存在内存中用于后续去重
- Scrapy 筛选出未爬取页面,进行递归爬取
- Scrapy 在Items中去重,使用pyv8引擎运行js解析豆瓣加密数据
- 将解析到的数据保存在数据库中
目前聚派网测试版运营2个月多了,1.0版本改版在即。基于测试版的经验以及后续团队的扩张,我认为在未来半年到一年的时间内版本会快速叠代,但大体框架,技术选型,开发规范都不会改变。故趁现在我需要对上面的三个问题进行选择和思考。