python——农业品种信息数据

import json
import requests
import simplejson
import csvif __name__ == '__main__':# JudgementRegionIDs:[]# CropIDs:[]JudgementRegionID ="河南省" #填入相应的地区名字CropID="水稻" #填写农作的名字# 获取品种的信息rowList = []tatol = 1#第一遍是为了获取总页数for i in range(tatol):url = 'http://202.127.42.145/VarietyAuthorize/GetVarietyAuthorizeList?VarietyName=&CropID='+CropID+'&JudgementRegionID=' + JudgementRegionID + '&_search=false&nd=1657287045191&rows=20&page=' + str(i + 1) + '&sidx=&sord=asc'headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'}res = requests.get(url=url, headers=headers).json()tatol = res["total"]#  正式开始获取数据并存储   如果超时改range()for i in range(tatol):url = 'http://202.127.42.145/VarietyAuthorize/GetVarietyAuthorizeList?VarietyName=&CropID='+CropID+'&JudgementRegionID=' + JudgementRegionID + '&_search=false&nd=1657287045191&rows=20&page=' + str(i + 1) + '&sidx=&sord=asc'headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'}res = requests.get(url=url, headers=headers).json()rows = res["rows"]rowList.append(rows)#从获取的信息中获取国标号newList = []JudgementNo = []for rows in rowList:for item in rows:JudgementNo.append(item["JudgementNo"].strip())print(len(JudgementNo))print(JudgementNo)#通过国标号获取对应品种的详细信息dataList = []for item in JudgementNo:urls = "http://202.127.42.145/bigdataNew/BA/GetAnnouncementInfo?judgementNo=" + itemres = requests.get(url=urls, headers=headers).textres = res.replace("\\", "")[2:-2]print(item)#有些数据json处理失败，直接抛出错误try:res = simplejson.loads(res)except:continuedataList.append(res)print(len(dataList))print("-------")#从获取的品种信息中提取有需要的信息list = []for obj in dataList:dist = {}dist["JudgementNo"] = obj["JudgementNo"].strip()dist["CropID"] = obj["CropID"].strip()dist["JudgementYear"] = str(obj["JudgementYear"]).strip()dist["JudgementRegionID"] = obj["JudgementRegionID"].strip()dist["ApplyCompany"] = obj["ApplyCompany"].strip()dist["IsTransgenosis"] = obj["IsTransgenosis"].strip()dist["VarietySource"] = obj["VarietySource"].strip()dist["VarietyCharacter"] = obj["VarietyCharacter"].strip()dist["OutputExpression"] = obj["OutputExpression"].strip()dist["PlantRequirment"] = obj["PlantRequirment"].strip()dist["JudgementSuggestion"] = obj["JudgementSuggestion"].strip()list.append(dist)#将处理好的信息存储下来with open('./static/'+JudgementRegionID+CropID+'.csv', 'w', encoding="utf-8") as csvfile:writer = csv.writer(csvfile)writer.writerow(['JudgementNo', 'CropID', "JudgementYear", "JudgementRegionID", "ApplyCompany", "IsTransgenosis","VarietySource", "VarietyCharacter", "OutputExpression", "PlantRequirment", "JudgementSuggestion"])for i in list:writer.writerow([i["JudgementNo"], i["CropID"], i["JudgementYear"], i["JudgementRegionID"], i["ApplyCompany"],i["IsTransgenosis"], i["VarietySource"], i["VarietyCharacter"], i["OutputExpression"],i["PlantRequirment"], i["JudgementSuggestion"]])

python——农业品种信息数据相关推荐

linux python开发环境sql数据迁移到mysql_运用Python语言编写获取Linux基本系统信息(三)：Python与数据库编程，把获取的信息存入数据库...
运用Python语言编写获取Linux基本系统信息(三):Python与数据库编程有关前两篇的链接: 一.实验环境: Python2.7.10.pycharm.VM虚拟机.CentOS6.3.mys ...
python爬取微博热搜显示到折线图_微博热搜榜前20信息数据爬取进行数据分析与可视化...
一.设计方案 1.主题式网络爬虫名称:微博热搜榜前20信息数据爬取进行数据分析与可视化 2.爬取内容与数据特征分析:爬取微博热搜榜前20热搜事件.排名与热度,数据呈一定规律排序. 3.设计方案概述:思 ...
python 读取地震道头数据_使用python获取(宜宾市地震信息)地震信息
6月17日22分25分,四川省宜宾市长宁县发生了6.0级地震,成都高新减灾研究所与应急管理部门联合建设的大陆地震预警网成功预警本次地震,提前10秒向宜宾市预警,提前61秒向成都预警. 虽然自己还不能写 ...
python爬网页统计数据_Python爬取阿拉丁统计信息过程图解
背景目前项目在移动端上,首推使用微信小程序.各项目的小程序访问数据有必要进行采集入库,方便后续做统计分析.虽然阿拉丁后台也提供了趋势分析等功能,但一个个的获取数据做数据分析是很痛苦的事情.通过将数据 ...
用python爬取基金网信息数据，保存到表格，并做成四种简单可视化。（爬虫之路，永无止境！）
用python爬取基金网信息数据,保存到表格,并做成四种简单可视化.(爬虫之路,永无止境!) 上次 2021-07-07写的用python爬取腾讯招聘网岗位信息保存到表格,并做成简单可视化. 有的人留 ...
Python爬虫实战，requests+openpyxl模块，爬取手机商品信息数据（附源码）
前言今天给大家介绍的是Python爬取手机商品信息数据,在这里给需要的小伙伴们代码,并且给出一点小心得. 首先是爬取之前应该尽可能伪装成浏览器而不被识别出来是爬虫,基本的是加请求头,但是这样的纯文本 ...
Python爬虫实战，requests+parsel模块，爬取二手房房源信息数据
前言最近在尝试用Python爬虫二手房房源信息数据,在这里给需要的小伙伴们提供代码,并且给出一点小心得. 首先是爬取之前应该尽可能伪装成浏览器而不被识别出来是爬虫,基本的是加请求头,但是这样的纯文本 ...
利用python获取word图表数据和修改图表信息
利用python获取word图表数据和修改图表信息起因咸鱼有个人问word怎么修改图表信息,想用docx库找不到关于图表的方法,这里用了Win32com. import time import wi ...
用Python来获取DICOM数据TAG信息
用Python来获取DICOM数据TAG信息单刀直入 1 数据读进来 2 调函数 3 调万能函数其他 by 今天不飞了单刀直入今天我也来个言简意赅,上代码 1 数据读进来 # import一波 ...

python——农业品种信息数据

python——农业品种信息数据相关推荐

最新文章

热门文章