1.基于python的scrapy爬虫，关于增量爬取是怎么处理的

• 一、增量爬取的思路：即保存上一次状态，本次抓取时与上次比对，如果不在上次的状态中，便视为增量，保存下来。对于scrapy来说，上一次的状态是抓取的特征数据和上次爬取的 request队列（url列表），request队列可以通过request队列可以通过scrapy.core.scheduler的pending_requests成员得到，在爬虫启动时导入上次爬取的特征数据，并且用上次request队列的数据作为start url进行爬取，不在上一次状态中的数据便保存。

  二、选用BloomFilter原因：对爬虫爬取数据的保存有多种形式，可以是数据库，可以是磁盘文件等，不管是数据库，还是磁盘文件，进行扫描和存储都有很大的时间和空间上的开销，为了从时间和空间上提升性能，故选用BloomFilter作为上一次爬取数据的保存。保存的特征数据可以是数据的某几项，即监控这几项数据，一旦这几项数据有变化，便视为增量持久化下来，根据增量的规则可以对保存的状态数据进行约束。比如：可以选网页更新的时间，索引次数或是网页的实际内容，cookie的更新等

• 对于只是读取某几个网站更新内容的爬虫完全没必要在python代码中实现增量的功能，直接在item中增加Url字段。

  item['Url'] = response.url

  然后在数据端把储存url的column设置成unique。

  之后在python代码中捕获数据库commit时返回的异常，忽略掉或者转入log中都可以。

  我使用的是SqlAlchemy。我是这么写的

  from sqlalchemy.exc import IntegrityError

  class XxxPipeline(object):

  def process_item(self, item, spider):

  #一些session.add()

  #........

  try:

  session.commit()

  print 'crawl %s done!' % item['Url']

  except IntegrityError:

  print 'skip %s .' % item['Url']

  return item

  虽然每次crawl都会重复抓取一些数据，但最终结果库内不会有相同的Url。

  对于小规模的爬虫，这种重复抓取的成本基本可以忽略。

• 提供几个思路：

  如果只是一次性的抓取某个网站的全部内容， 中途需要暂停并且恢复，只需要scrapy crawl somespider -s JOBDIR=crawls/somespider-1

  如果需求是过滤某些url，但是网站的主入口不被过滤掉，比如典型的论坛类网站，你只想过滤掉帖子，但是却不想过滤掉板块，你可以定制一下requestSeen

  如果使所有网站的动态过滤，比如是不是多了一个新回复，在url上的变化并不能体现出来，搜索引擎采用的是一系列的算法，判断某一个页面的更新时机。个人应用一般不会使用到（其实是自己也不懂，写出来提供一下思路，也许你会呢）。大部分的网页在进入下一级页面的时候都会有一个类似于最后更新时间，最后活动时间等等，可以根据这个来进行判断。

2.网络爬虫 python 毕业论文呢

• 做爬虫,特别是python写说容易挺容易,说难也挺难的,

  举个栗子 简单的:将 />爬虫写得不多,暂时能想到的就这么多，欢迎补充

3.python爬虫被检测到了有什么办法躲过吗？

• IP池咯，还有就是减慢爬取的频率。

• headers,ip代理,cookies

4.python 爬虫 内容重复问题50

# coding=utf-8import requestsimport reimport jsonclass Neihan: def __init__(self): self.start_url = "http://neihanshequ.com/" self.next_url_temp = "http://neihanshequ.com/joke/?is_json=1&app_name=neihanshequ_web&max_time={}" self.headers= {"User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36"} def parse_url(self,url):#发送请求，获取htmlstrprint(url) response = requests.get(url,headers=self.headers) return response.content.decode() def get_frist_page_content_list(self,html_str): #提取数据，提取max_time content_list = re.findall("

.*?

(.*?)

",html_str,re.S) max_time = re.findall("max_time: '(.*?)',",html_str)[0] return content_list,max_time def save_content_list(self,content_list): #保存 with open("neihan.txt","a",encoding="utf-8") as f: for content in content_list:f.write(content)f.write("\n")print("保存成功") def get_content_list(self,json_str):#提取第二页开始的每一页的数据 dict_ret = json.loads(json_str) data = dict_ret["data"]["data"] content_list = [i["group"]["content"] for i in data] max_time = dict_ret["data"]["max_time"] has_more = dict_ret["data"]["has_more"] return content_list,max_time,has_moredef run(self):#实现主要逻辑#1.start_url#2.发送请求，获取htmlstr html_str = self.parse_url(self.start_url)#3.提取数据，提取max_time content_list,max_time = self.get_frist_page_content_list(html_str)#4.保存数据self.save_content_list(content_list)#5.构造下一页的url地址 has_more = True #给定一个has_more，假设有第二页 while has_more: next_url = self.next_url_temp.format(max_time)#6.发送请求，获取json数据 json_str = self.parse_url(next_url)#7.提取数据 content_list,max_time,has_more = self.get_content_list(json_str)#8.保存，进入循环5-8步self.save_content_list(content_list)if __name__ == '__main__': neihan = Neihan()neihan.run()#为什么获取到的内容大多数重复，请问如何解决？

• 因为它不是两页，而是把一页不断的加长，自然会有重复数据。解决的方法就是先展开足够长的网页，只抓取一次。

5.python爬虫这样子为什么一直爬的是相同的东西，应该怎么爬取其他td标签下的内容？

• importrequests

  frombs4importBeautifulSoup

  importre

  headers={'User-Agent':'Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/49.0.2623.221Safari/537.36SE2.XMetaSr1.0'}

  ALL=[]

  defget_url(s):

  url=' />