Programming interview questions, tips and knowledge, system design, big data.

这几天断断续续完成了这个爬虫程序，功能是批量下载http://mlook.mobi/中mobi和epub格式的电子书。 中间遇到了几个困难，个个耗费了我不少心神。目前这个程序已经可以正常使用，但还有许多值得改进的地方。我把脚本放在gist，日后更新版本后会直接在本篇博客中显示。

之前做网站自己搞前端，在w3cschool杂乱地把html，css，jquery，ajax的教程学习了一遍，然后用刚刚诞生不久的Bootstrap作为前端框架，算来我属于BS最早的一批用户了:) 最近学python之外，很想把CSS、jquery学的更好一点。把原来做过的笔记复习了一下，然后打开Bootstrap的Bootstrap.css，一行一行地看，不会的一一Google，在旁边做注释。不过这个工程量太大了，其实很多是重复的，不必要全部都看。 看过一些后我就去改博客的样式。Hexo用的是stylus，而不是直接用CSS，所以先简单学了下stylus的语法，很简单，只是把CSS语法简化

我的博客中曾经贴过几个爬虫程序的代码，用来批量下载图片非常方便。这样的爬虫实现起来比较简单。而有些网站需要用户登录之后才可以下载文件，之前的方法就办不到了。今天就说说用Python模拟浏览器的登录过程，为之后的登录下载做好准备。 登录的情况，需要额外用到的一个模块是cookielib，用来记住登录成功之后保存到本地的cookie，方便在网站的各个页面之间穿越。

今天写一个在windows下批量修改文件名的python脚本，用到文件的遍历。用python进行文件遍历有多种方法，这里列举并说明一下。 ###os.path.walk() 这是一个传统的用法。 walk(root,callable,args)方法有三个参数：要遍历的目录，回调函数，回调函数的参数（元组形式）。 调用的过程是遍历目录下的文件或目录，每遍历一个目录，调用回调函数，并把args作为参数传递给回调函数。 回调函数定义时也有三个参数，比如示例中的func中的三个参数，分别为walk传来的参数、目录的路径、目录下的文件列表（只有文件名，不是完整路径）。请看示例： 123456789101

从几年前开始学习编程直到现在，一直对程序中的异常处理怀有恐惧和排斥心理。之所以这样，是因为不了解。这次攻python，首先把自己最畏惧和最不熟悉的几块内容列出来，里面就有「异常处理」这一项。 《Dive into Python》并没有专门介绍异常处理，只是例子中用到的时候略微说明了一下。今天下载《Learn Python》，直接进异常处理这块。这一部分有四章，第一章讲解异常处理的一般使用方法，后面的章节深入地讨论其机制。我目前只看了第一章，先学会用，以后有必要的时候再扩展阅读。 python主要支持五种异常机制，一一列举。

Notepad++用了两年了，作为一般的使用非常轻便，而且支持丰富的插件，但想要在编写速度上再提升就很难了。这几天SN上总有人推荐vim的介绍和设置文章，池建强也开始写vim系列文章，在需求和刺激的双重驱动下，我重新燃起了对vim的热情。于是下载安装了Gvim。win版的vim是最丑的，跟mac和linux下的没法比，但是我一没mac，二不爱来回重启切换系统，所以只能凑合用这个了。把工具栏隐藏掉，把配色方案改一下，发现还有美容的希望。 装好gvim后，第一步就是找几个成熟的配置文件写进.vimrc，这样便能直接上手使用好用的vim了。 然后设置文件关联。这个我还没找到像NPP那样的一键关联设定

作为IT从业者，经常需要去国外的一些网站看技术文档，需要去youtube、udacity等网站看一些技术相关的视频，但由于国内政策限制，很多类似的网站被GFW墙掉。正所谓魔高一尺，道高一丈，在伟大的程序员手里，一件件的fq软件诞生。本人有点小工具收藏癖，到现在为止已经收藏了不少的科学上网方法，有时间汇总一下。今天又发现一个好东西，特拿来分享。 软件名：Goagent GUI 操作系统：Win8，Win7，xp 主页：https://goagent.codeplex.com/（无需fq） 简介：基于Goagent，在此基础上制作了图形化的软件界面，配置和使用更加方便。

在提交表单时我们可以使用.submit()方法自定义提交表单的动作。提交的方式可以选择get、post、getJSON、getJSONP等等。这里说一下post方式。 jQuery.post( url [, data ] [, success(data, textStatus, jqXHR) ] [, dataType ] ) url：要提交的地址，相当于html中的action值。 data：要发送给服务器的数据。 success：这是一个回调函数，如果post成功，会执行该函数。 dataType：这个参数可以设置从服务器返回的数据的格式，可以为xml, json, script, tex

python中有一个略微奇怪的表达式叫yield expression，本文就来探究一下这是个什么东西。一步一步来。 ####iterable 123mylist = [1,2,3]for item in mylist: print str(item) mylist是一个列表（list），我们可以逐条取出每一个item，这个过程叫做iteration。像list这样可以用”for…in…”依次遍历的对象被称为iterable，其他的iterable还有string、tuple、dict等。iterable的一个特点是所有的item会存储到内存中，这样会产生一些不便和不利的地方，于是催生了

这几天玩爬虫已经使用了很多次的re模块，算是比较熟悉了，这里梳理一下。 首先，关于正则表达式的概念，这里有最好的教程。 对于正则表达式，我们可以先用compile方法编译为pattern对象，再调用相关的方法进行模式匹配，也可以直接进行匹配。

看到好几位博主通过对模块的各个击破学习python，我也效法一下，本篇说一下python中加密涉及到的模块。 ###hashlib hashlib模块支持的加密算法有md5 sha1 sha224 sha256 sha384 sha512(加密原理请参考此处)，使用起来也很简单。

测试用的代码如下： 123456789101112131415161718192021222324# coding: utf-8# 测试多线程中join的功能import threading, time def doWaiting(): print 'start waiting1: ' + time.strftime('%H:%M:%S') + "\n" time.sleep(3) print 'stop waiting1: ' + time.strftime('%H:%M:%S') + "\n" def doWaiting1(): print 'st

继续鼓捣爬虫，今天贴出一个代码，爬取点点网「美女」标签下的图片，原图。

学习python少不了写爬虫，不仅能以点带面地学习、练习使用python，爬虫本身也是有用且有趣的，大量重复性的下载、统计工作完全可以写一个爬虫程序完成。 用python写爬虫需要python的基础知识、涉及网络的几个模块、正则表达式、文件操作等知识。昨天在网上学习了一下，写了一个爬虫自动下载「糗事百科」里面的图片。源代码如下：

今天给大家推荐一些不错的资源，藏着掖着怕臭掉，全民共享才超值。

介绍一个小工具：Google表单。这是google drive下面的一个实用小工具，用户可以用此创建留言表单或者问卷调查表单，提交的数据会保存到表单制作者的google drive，格式为Excel，可以轻松导出，还会有趋势图直观显示用户提交的频度。点此查看效果（留言表单）。

flickr是雅虎旗下的图片存储与分享服务，注册即赠送1T的免费存储空间，足够这辈子用了。flickr会无损保存我们的照片，提供各种滤镜渲染效果。同时，flickr的图片展示方式也非常的方便和舒适，幻灯片效果尤为漂亮。本文介绍一种方法，把自己的图集在博客页面上进行展示。效果如上图所示。

用了一年多的Goagent，除了首次安装配置的时候有些麻烦，后续使用还是挺方便的，速度和稳定性都可以，尽管偶尔会撒个娇。 近日混V2EX，多次不经意间看到shadowsocks这个词，还有ss-server之类的词语，不甚了了。昨天终于点进去瞧了瞧，哦，原来是一个用来科学上网的东东。 shadowsocks是由@clowwindy发明的轻量级服务器中转包传输工具。有各平台的各种客户端，五花八门，总有一款适合你。