爬虫高效去重之布隆过滤器

笔者最近思考如何编写高效的爬虫; 而在编写高效爬虫的时候,有一个必需解决的问题就是: url 的去重,即如何判别 url 是否已经被爬取,如果被爬取,那就不要...

四月 9, 2017 · 3 分钟 · 1333 字 · Ramsay Leung

大话Linux文件系统

不久前,Apple 的文件系统 (Apple File System) 新推出,然后各方便一起挤身向前对APFS “评头品足”,我是不了解 APFS ,所以也没有什么...

三月 30, 2017 · 7 分钟 · 3138 字 · Ramsay Leung

关于工具,关于折腾

笔者最近一直在思考,关于工具,关于折腾,关于其中的付出与收获 1 乐趣 1.1 Linux 回顾笔者大学,从大一开始就是一个不停折腾的过程,在其他的同学还在用Wi...

三月 24, 2017 · 7 分钟 · 3166 字 · Ramsay Leung

Python多线程端口扫描器

近两日,闲来无事,就写了些端口扫描器,重温TCP/IP协议栈的部分原理。 1 端口扫描器 所谓的端口扫描器,其实是用来检测目标服务器有哪些端口开放...

三月 19, 2017 · 5 分钟 · 2015 字 · Ramsay Leung

Linux/Unix Shell 二三事之过滤器grep

文本三剑客之 Grep grep - print lines matching a pattern 今天我想聊聊 grep 这个命令;据说,有Unix/Linux 的地方就会有 grep, 这个可能是安装得最广泛的命令之一;那么 grep 是用来...

三月 13, 2017 · 6 分钟 · 2694 字 · Ramsay Leung