python_getUniport_从uniport网站中获得指定的字节

从网站中或得指定字段

import requests
import pandas as pd
from bs4 import BeautifulSoup
import time
from multiprocessing import Poolclass Downloader():def __init__(self):self.server = 'https://www.uniprot.org/uniprot/'self.file = r"uniprots_input.csv"#self.url = 'https://www.uniprot.org/uniprot/XXX#family_and_domains'self.url = 'https://www.uniprot.org/uniprot/XXX' #网站链接self.uniprots = []self.headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:71.0) Gecko/20100101 Firefox/71.0','Upgrade-Insecure-Requests': '1'}self.outpath_txt = r"uniprots_output.csv"def get_uni(self):df = pd.read_csv(self.file)# print(df)# print("***************")# print(df.columns)self.uniprots.extend(df['Uniports'])def get_contents(self, uniprot):target = self.url.replace('XXX', uniprot)s = requests.session()rep = s.get(url=target, verify=False, headers=self.headers, timeout=30)rep.raise_for_status()soup = BeautifulSoup(rep.text, 'html.parser')#families = soup.select('#family_and_domains > div.annotation > a')families = soup.select('#content-gene')fam = [i.get_text() for i in families]if fam != []:fam.extend([uniprot])else:families = soup.select('#content-gene')fam = [i.get_text() for i in families]fam.extend([uniprot])print(fam)return fam#写入文件def write_txt(self, family):with open(self.outpath_txt, 'a') as f:f.write(str(family) + '\n')def trans_csv(self):df = pd.read_csv(self.file)families = {}with open(self.outpath_txt, 'r') as f:text = f.readlines()for f_u in text:f_u = f_u.replace('\n', '').split(',')families.update({f_u[len(f_u) - 1]: '|'.join(f_u[0:(len(f_u) - 1)])})uni_left = [uni for uni in list(df['Uniports']) if uni not in families.keys()]for u in uni_left:families.update({u: None})df['Family'] = df['Uniports'].map(lambda x: families[x])df.to_csv(self.file)if __name__ == "__main__":dl = Downloader()dl.get_uni()pool = Pool(processes=8)for uniprot in dl.uniprots:try:pool.apply_async(func=dl.write_txt, args=(dl.get_contents(uniprot),))print("uniprot:" + uniprot + "info download finished")time.sleep(0.5)except:print(uniprot + "download fail")pool.close()pool.join()dl.trans_csv()

unpiortID-A1Z199

获得对应的基因号码

注解：python3.7
参考文献：https://blog.csdn.net/recher_He1107/article/details/103888869

python_getUniport_从uniport网站中获得指定的字节相关推荐

在没有搜索功能的网站中寻找指定内容
在生活中,经常会遭遇到一些站点有着足量的内容,但是却没有搜索功能. 逐个寻找需要花费大量的时间,这时google的站内搜索功能便十分重要了. 在谷歌搜索框中输入想要输入的内容,然后在后面加上site: ...
巧用搜索引擎---如何在指定网站中搜索
子曰:"工欲善其事,必先利其器."在平时工作和学习中,网络上查找各种资料是最浪费时间的.在查资料的时候搜索功能是经常要用到的,常规的做法是在搜索引擎中直接搜索关键词. 比如我想找一 ...
python 去掉文件后缀_python从zip中删除指定后缀文件(推荐)
一,说明环境:python2 用到的模块 os zipfile shutil 程序功能:从zip中删除指定后缀的文件,然后再自动压缩函数说明: DelFileInZip(path,suffix) ...
VB 在浏览器中打开指定网址
Shell "Rundll32.exe url.dll, FileProtocolHandler http://miaozk2006.blog.163.com", vbNormal ...
【论文写作】精品课程教学网站中用户管理如何写
5.1用户注册帐号是新用户对网站访问的钥匙,如果这个钥匙丢掉的话,影响用户对网站的访问.在系统注册的时候,帐号是由系统自动分配的.还有为了可以找回帐号密码,在用户注册的时候,必须要填写密码问题和问题 ...
关于网站中图片排名优化的技巧是？
一说到网站的优化工作,大部分的SEOer都会考虑去做网站的页面关键词优化,很多人却忽视图片的优化,更别说图片排名优化.虽然说现在的搜索引擎还不能很好的识别图片,图片站的排名也比较难做,可在实际应用当中 ...
html中文本信息导出表格中,了解如何使用表格在网站中显示内容
了解如何使用表格在网站中显示内容.此外,还可了解如何拆分和合并表格单元格以及如何导入和导出表格式数据. 表格是用于在 HTML 页上显示表格式数据以及对文本和图形进行布局的强有力的工具.表格由一行或多 ...
iPhone App创建与审核步骤二：如何在developer.apple.com网站中设置App预览和截屏以完成App上架
iPhone App创建与审核步骤二:如何在developer.apple.com网站中设置App预览和截屏以完成App上架,根据图标规范RAD Studio 10.4 for delphi XE 或 ...
视频网站中的推荐系统
转自:http://www.programmer.com.cn/9242/ 文 / 郑华随着互联网特别是社会化网络的快速发展,我们正处于信息过载的时代.用户面对过量的信息很难找到自己真正感兴趣的内容 ...

python_getUniport_从uniport网站中获得指定的字节

python_getUniport_从uniport网站中获得指定的字节相关推荐

最新文章

热门文章