定时获取微博热搜爬虫连接MySQL(项目)
前言
这个项目的第三篇博客,增加了定时爬取和日志写入,解决了一些稳定性的问题。
代码设计
# -*- encoding: utf-8 -*-
# ---------------------------------------------
# 微博热搜
# ---------------------------------------------
import time
import re
import json
import sys
import copy
import pymysql
import requests#引入requests库用于下载网页
from bs4 import BeautifulSoup#BeautifulSoup用于解析网页localtime = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())#获取时间
try:data=requests.get("https://s.weibo.com/top/summary?Refer=top_hot&topnav=1&wvr=6").text#请求网站
except:print(localtime+'\t'+"爬取失败!")
soup=BeautifulSoup(data,'html.parser')#使用BeautifulSoup工具
a=[]#创建一个空列表
index=[]
try:db = pymysql.connect("xxx.xxx.xxx.xxx", "xxx", "xxx", "xxx", use_unicode=1,charset='utf8' )cursor = db.cursor()
except:print(localtime+'\t'+"打开数据库失败!")
try:for k in soup.find_all('a',attrs={'href':re.compile('^/weibo?'),'target' : '_blank'}): #把热度标题添加进空列表sql = """INSERT INTO hot_date(NAME, URL, TIME) VALUES ("%s",'%s','%s')""" % (str(k.get_text().strip()),"https://s.weibo.com"+k.get('href'),localtime)try:cursor.execute(sql)db.commit()except:flag=1db.close()print(localtime+'\t'+"存入成功!")
except:print(localtime+'\t'+"存入失败!")
说明
运行在linux上,用Crontab设置定时任务。教程
通过输出重定向写入日志文件
问题解决
1.运行错误
遇到了requests不能用的问题,在安装了requests库的情况下Linux无法运行
解决方法:增加try异常机制
2.Crontab运行错误
设置时使用绝对路径
后记
接下来就是记录结束时间和持续时间
定时获取微博热搜爬虫连接MySQL(项目)相关推荐
- 【Python】爬虫获取微博热搜数据,response中文显示“\u7814\u7a76\u8bc1\u5b9e\u”
问题描述 在爬虫获取微博热搜数据的时候,response中文出现了不便于理解的字段,截取如下: ......[{"title_sub":"\u7814\u7a76\u8b ...
- php获取微博热搜,Python获取微博热搜的方法
原标题:Python获取微博热搜的方法 微博热搜的爬取需要用到lxml和requests两个库 url=https://s.weibo.com/top/summary?Refer=top_hot&am ...
- Python用requests库+BeautifulSoup库+re库获取微博热搜(有详解)
Python用requests库+BeautifulSoup库+re库获取微博热搜 import requests from bs4 import BeautifulSoup import re de ...
- php获取微博热搜,爬取微博热搜top50(示例代码)
一.主题式网络爬虫设计方案(15分) 1.主题式网络爬虫名称:爬取微博热搜top50 2.主题式网络爬虫的内容与数据特征分析:排名 关键词 点击量 3.主题式网络爬虫设计方案概述: 先分析页面 对比源 ...
- JAVA——微博热搜爬虫
源代码:https://gitee.com/my-zstu/myzstu/blob/develop/myzstu-spyder/src/main/java/club/zstuca/myzstu/spy ...
- python爬取微博热搜并存入表格_python爬虫进阶之爬取微博热搜存入Mysql
在编程中,我们如果想要把数据转入数据库中,首先会选择 MySQL数据库.因为MySQL数据库体积小.速度快.总体拥有成本低.开放源代码,其有着广泛的应用,例如我们使用python爬虫微博热搜,就可以使 ...
- 盘一盘2020年上半年的微博热搜词条(文末提供获取热搜词条方法)
6月10日晚上,我正在冲浪,突然收到一条推送: 于是热搜停在了6月10日下午15点整: 杨幂.彭昱畅.明道或成最大赢家,(可能)花一天的钱买了七倍的量. 于是在热搜恢复之前,我去挖了一下历史热搜词条, ...
- 练手:微博热搜小爬虫
写在前面: 此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) 微博热搜爬虫小工具 太闲了写格爬虫练练手 写了一个比较简单的 ...
- 微博热搜榜爬虫2.0
微博热搜榜爬虫2.0 6月份出了一个微博热搜爬虫,在我电脑上设置了自动化12点爬取,结果到了9月份,执行不了. 一直没时间弄,今天来更新一下: 解决了两个问题, 1 >之前的话请求头比较单一,只 ...
最新文章
- python 控制库_python中实现自动化控制pyautogui库使用方法介绍
- LYVC揭秘硅谷核心基金圈投资游戏规则
- 保鲜、保生,生鲜电商的两码事
- mysql 2008新建用户_Sql Server 2008数据库新建分配用户的详细步骤
- java audiorecord_Android 录音实现(AudioRecord)
- 零宽断言 python_正则表达式-零宽断言
- Javascript模块化编程(二)AMD规范(规范使用模块)
- Luogu1060 开心的金明
- vmstat记录linux状态日志到文本-随手记
- 64位电脑c语言程序下载,vc2010 x64位
- 民间股神:上海殷保华的股票操盘手奇人绝技
- Java开发规范之常量定义篇
- noip2017广东提高组复赛成绩
- 从程序员到项目经理(九):程序员加油站 — 再牛也要合群
- No result defined for action com.lzj.web.action.CustomerAction and result input
- 未睹棺椁先哭君——谷歌墓志铭
- 关于Excel自定义TEXTJOIN函数、SWITCH函数
- 前端小白系列之——导言
- 室内环境下的3D 目标检测调研
- 【英特尔oneAPI——异构计算编程】