用python 来操控 sqlite3

python 与嵌入式关系数据库 sqlite3的邂逅 SQLite 是一个非常优秀的嵌入式数据库,非常轻量,可以与 Mysql, PostgreSQL 这样的 大型数据库互补使用. 而 Python 标准库中的 sqlite3 模块实现了兼容 SQLite 的 Python DB-API 2.0接口, 因此我们可以很方 便地使用 sqlite3 模块来操作 SQLite ...

十一月 12, 2017 · 9 分钟 · 4469 字

从京东"窃取"150+万条数据

我最近编写了两只京东商品和评论的分布式爬虫来进行数据分析,现在就来分享一下。 1 爬取策略 众所周知,爬虫比较难爬取的就是动态生成的网页,因为需要解析 JS, 其中比较典型的例子就是淘宝,天猫,京东,QQ 空间等。 ...

六月 21, 2017 · 5 分钟 · 2233 字

你所不可或缺的 – logging

1 重要性 笔者最近都在负责项目中关于日志的部分,因为跟日志打交道比较多,所以有一些关于日 志感受和技巧想要分享一下。 笔者认为对于各种程序和应用,日志都是非常重要的,因为程序在部属到服务器之后,开发者是没办法像在本地开发那样可以充分了解程序发生的状况,而使用日志可以让开发者了解运行中的程序的状态,即使出现了错误,或者是系统挂了,也可以从日志中分析原因。 ...

四月 9, 2017 · 7 分钟 · 3031 字

flask牛刀小试之微信公众号开发

flask 是一个轻量级的python 框架(官网称为微型框架),很容易上手,之前因为笔者跟朋友开发小程序的时候使用过 flask,过后就遗忘了。 为了重拾flask, 笔者决定写点小东西,之前开发小程序,不如现在再玩玩公众号开发 ...

二月 23, 2017 · 2 分钟 · 952 字