self.crawl
self.crawl（url，** kwargs）
self.crawl 是告诉pyspider应该抓取哪个url的主界面。
参数：
网址
要抓取的网址或网址列表。
打回来
解析响应的方法。_default：__call___
def on_start(self):
self.crawl('http://scrapy.org/', callback=self.index_page)
以下参数是可选的
年龄
任务的有效期。在此期间，该页面将被视为未修改。默认值：-1（从不重新抓取）
@config(age=10 * 24 * 60 * 60)
def index_page(self, response):
...
回调解析的每个页面index_page都将被视为在10天内未被更改。如果您在上次抓取后的10天内提交任务，则会将其丢弃。
优先 任务安排的优先级越高越好。默认值：0
```
def index_page(self):
self.crawl('http://www.example.org/page2.html', callback=self.index_page)
self.crawl('http://www.example.org/233.html', callback=self.detail_page,
priority=1)
```
该页面233.html之前将被抓取page2.html。使用此参数可以执行BFS并减少队列中的任务数（这可能会花费更多的内存资源）。
exetime
unix时间戳中任务的执行时间。默认值：0（立即）
```
import time
def on_start(self):
self.crawl('http://www.example.org/', callback=self.callback,
exetime=time.time()+30*60)
```
该页面将在30分钟后被抓取。
重试
失败时重试次数。默认值：3
ITAG
来自前沿页面的标记，以显示任务的潜在修改。它将与其最后一个值进行比较，在更改时重新抓取。默认值：无
```
def index_page(self, response):
for item in response.doc('.item').items():
self.crawl(item.find('a').attr.url, callback=self.detail_page,
itag=item.find('.update-time').text())
```
在样本中，.update-time用作itag。如果它没有改变，请求将被丢弃。
或者，如果要重新启动所有任务，可以使用itagwith Handler.crawl_config指定脚本版本。
class Handler(BaseHandler):
crawl_config = {
'itag': 'v223'
}
修改脚本后再更改itag的值，然后再次单击“运行”按钮。如果没有设置之前没关系。
auto_recrawl
启用后，每次都会重新绘制任务age。默认值：False
def on_start(self):
self.crawl('http://www.example.org/', callback=self.callback,
age=5*60*60, auto_recrawl=True)
页面将每age5小时重新启动一次。
方法
要使用的HTTP方法。默认值：GET
PARAMS 要附加到URL的URL参数字典。
def on_start(self):
self.crawl('http://httpbin.org/get', callback=self.callback,
params={'a': 123, 'b': 'c'})
self.crawl('http://httpbin.org/get?a=123&b=c', callback=self.callback)
这两个请求是一样的。
数据
身体附加到请求。如果提供了字典，则将进行表单编码。
def on_start(self):
self.crawl('http://httpbin.org/post', callback=self.callback,
method='POST', data={'a': 123, 'b': 'c'})
档
{field: {filename: 'content'}}分段上传的文件字典
用户代理
请求的User-Agent
头
要发送的标头字典。
饼干
附加到此请求的Cookie字典。
connect_timeout
初始连接超时（秒）。默认值：20
超时
获取页面的最长时间（以秒为单位）。默认值：120
allow_redirects
按照30x重定向默认值：True
validate_cert
对于HTTPS请求，验证服务器的证书？默认值：True
代理
username:password@hostname:port要使用的代理服务器，目前仅支持http代理。
class Handler(BaseHandler):
crawl_config = {
'proxy': 'localhost:8080'
}
Handler.crawl_config可用于proxy为整个项目设置代理。
ETAG
如果页面内容未更改，则使用HTTP Etag机制传递进程。默认值：True
最后修改
如果页面内容未更改，请使用HTTP Last-Modified标头机制来传递进程。默认值：True
fetch_type
设置为js启用JavaScript fetcher。默认值：无
js_script
在页面加载之前或之后运行的JavaScript，应该被类似的函数包装function() { document.write("binux"); }。
def on_start(self):
self.crawl('http://www.example.org/', callback=self.callback,
fetch_type='js', js_script='''
function() {
window.scrollTo(0,document.body.scrollHeight);
return 123;
}
''')
该脚本将页面滚动到底部。函数中返回的值可以通过捕获Response.js_script_result。
js_run_at
运行通过js_scriptat document-start或指定的JavaScript document-end。默认：document-end
js_viewport_width / js_viewport_height
设置布局过程的JavaScript提取器的视口大小。
load_images
启用JavaScript fetcher时加载图像。默认值：False
保存
一个对象传递给回调方法，可以通过访问response.save。
def on_start(self):
self.crawl('http://www.example.org/', callback=self.callback,
save={'a': 123})
def callback(self, response):
return response.save['a']
123 将被退回 callback
任务id
唯一id用于标识任务，默认是URL的MD5检查码，可以通过方法覆盖 def get_taskid(self, task)
import json
from pyspider.libs.utils import md5string
def get_taskid(self, task):
return md5string(task['url']+json.dumps(task['fetch'].get('data', '')))
默认情况下，只有url是md5 -ed作为taskid，上面的代码作为taskid的data一部分添加了POST请求。
强制性升级
即使任务处于ACTIVE状态，也强制更新任务参数。
取消
取消任务，应该用于force_update取消活动任务。要取消auto_recrawl任务，您也应该设置auto_recrawl=False。
cURL命令
self.crawl(curl_command)
cURL是一个用于发出HTTP请求的命令行工具。它可以很容易地从Chrome Devtools> Network面板中获得，右键单击请求并“Copy as cURL”。
您可以使用cURL命令作为第一个参数self.crawl。它将解析命令并像curl一样发出HTTP请求。
@config（** kwargs）
self.crawl使用装饰方法作为回调时的默认参数。例如：
@config(age=15*60)
def index_page(self, response):
self.crawl('http://www.example.org/list-1.html', callback=self.index_page)
self.crawl('http://www.example.org/product-233', callback=self.detail_page)
@config(age=10*24*60*60)
def detail_page(self, response):
return {...}
age的list-1.html是15分钟，而age的product-233.html是10天。因为回调product-233.html是detail_page，意味着它是一个detail_page共享配置detail_page。
Handler.crawl_config = {} self.crawl整个项目的默认参数。crawl_config调度程序中的参数（priority，retries，exetime，age，itag，force_update，auto_recrawl，cancel）将在创建任务时加入，fetcher和processor的参数将在执行时连接。之后您可以使用此机制更改获取配置（例如cookie）。
crawl_config = {
'headers': {
'User-Agent': 'GoogleBot',
}
}
...
crawl_config设置项目级别的用户代理。
