试验了一个晚上，python的小爬虫还是挺可爱的，简单几行就可以抓取网页了。如果你和我一样是新手，你可以先去/column/details/why-bug.html了解一下爬虫和网络的基本知识。强调一下，这个爬虫和搜索引擎的爬虫是有区别的。搜索引擎的爬虫是一种对图的遍历，沿着超链接不断爬取整个网络。我们的小爬虫很懒惰，只爬取我们指定的url，下面就是对淘宝实现模拟登录。
先看代码：
import urllib
import urllib2
import cookielib
def taobao(username,password):
cj = cookielib.CookieJar()
print cj
post_data = urllib.urlencode(
{
'TPL_password':password,
'TPL_username':username,
})
path = '/member/login.jhtml'
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
opener.addheaders = [('User-agent', 'Mozilla/5.0 (Windows; U; Windows NT 6.1; zh-CN; rv:1.9.2.13) Gecko/1203 Firefox/3.6.13')]
urllib2.install_opener(opener)
req = urllib2.Request(path,post_data)
#try login
conn = urllib2.urlopen(req)
html = conn.read().decode('gbk','ignore')
print cj
print html
taobao('username','password')
print 'OK'
代码不对，整个的关键就在于post_data，其实就是把程序模拟成浏览器，post_data就是你点击登录按钮时，浏览器向服务器发送的登录信息。你可以用浏览器打开登录界面，单击右键选择查看元素，在下面的页面代码上就可以看到两个输入框一个叫TPL_username一个叫TPL_password。具体看图：
还有就是下图比较重要：
他告诉我们信息发往何方/memer/login.jhtml，怎样传递参数post。你想登陆的大部分网页都是这样的。
剩下的部分就是常规爬网页，但是
opener.addheaders = [('User-agent', 'Mozilla/5.0 (Windows; U; Windows NT 6.1; zh-CN; rv:1.9.2.13) Gecko/1203 Firefox/3.6.13')]是比较重要的，否则会让你输入验证码，这样就把你的程序模拟成了浏览器。接下来就是解码，淘宝使用的gbk编码。所以打印的时需要使用gbk解码。
最后介绍一下cookie的使用，我们在一开始先声明了一个空的cookie，打印为空。当带着这个空的cookie登录后，他就有了数据。你可以打印看看。其实最容易爬取的是学校的选课系统，我们学校的选课系统的cookie就是学号加上一个序列号了。
