import pymysql
class mysqlPipeline(object):
##链接数据库
def open_spider(self, spider):
self.conn = pymysql.connect(host='127.0.0.1',user='scrapy',passwd='scrapy',db='sqlname') #连接数据库
def process_item(self, item, spider):
#添加数据到sqlname表中
self.conn.query(
"insert suningbook(一级分类,二级分类,三级分类,图片名称,图片链接,图书价格,作者,出版社,出版时间)" #需要插入的字段
"values('{}','{}','{}','{}','{}','{}','{}','{}','{}')".format(
item['一级分类'],item['二级分类'],item['三级分类'],item['图片名称'],item['图片链接'],item['图书价格'],item['作者'],item['出版社'],item['出版时间'] #爬取项目中定义的字段
))
self.conn.commit()#执行添加
def close_spider(self, spider):
self.conn.close() #关闭连接
yield item
相关