主要是对该项目dgl/examples/pytorch/metapath2vec at master · dmlc/dgl · GitHub中代码的理解。

对于metapath2vec.py文件内容：

import torch
import argparse
import torch.optim as optim
from torch.utils.data import DataLoaderfrom tqdm import tqdmfrom reading_data import DataReader, Metapath2vecDataset
from model import SkipGramModel
from download import AminerDataset, CustomDatasetclass Metapath2VecTrainer:def __init__(self, args):if args.aminer:dataset = AminerDataset(args.path)else:dataset = CustomDataset(args.path)self.data = DataReader(dataset, args.min_count, args.care_type)dataset = Metapath2vecDataset(self.data, args.window_size)self.dataloader = DataLoader(dataset, batch_size=args.batch_size,shuffle=True, num_workers=args.num_workers, collate_fn=dataset.collate)self.output_file_name = args.output_fileself.emb_size = len(self.data.word2id)self.emb_dimension = args.dimself.batch_size = args.batch_sizeself.iterations = args.iterationsself.initial_lr = args.initial_lrself.skip_gram_model = SkipGramModel(self.emb_size, self.emb_dimension)self.use_cuda = torch.cuda.is_available()self.device = torch.device("cuda" if self.use_cuda else "cpu")if self.use_cuda:self.skip_gram_model.cuda()def train(self):optimizer = optim.SparseAdam(list(self.skip_gram_model.parameters()), lr=self.initial_lr)scheduler = torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, len(self.dataloader))for iteration in range(self.iterations):print("\n\n\nIteration: " + str(iteration + 1))running_loss = 0.0for i, sample_batched in enumerate(tqdm(self.dataloader)):if len(sample_batched[0]) > 1:pos_u = sample_batched[0].to(self.device)pos_v = sample_batched[1].to(self.device)neg_v = sample_batched[2].to(self.device)scheduler.step()optimizer.zero_grad()loss = self.skip_gram_model.forward(pos_u, pos_v, neg_v)loss.backward()optimizer.step()running_loss = running_loss * 0.9 + loss.item() * 0.1if i > 0 and i % 500 == 0:print(" Loss: " + str(running_loss))self.skip_gram_model.save_embedding(self.data.id2word, self.output_file_name)if __name__ == '__main__':parser = argparse.ArgumentParser(description="Metapath2vec")#parser.add_argument('--input_file', type=str, help="input_file")parser.add_argument('--aminer', action='store_true', help='Use AMiner dataset')parser.add_argument('--path', type=str, help="input_path")parser.add_argument('--output_file', type=str, help='output_file')parser.add_argument('--dim', default=128, type=int, help="embedding dimensions")parser.add_argument('--window_size', default=7, type=int, help="context window size")parser.add_argument('--iterations', default=5, type=int, help="iterations")parser.add_argument('--batch_size', default=50, type=int, help="batch size")parser.add_argument('--care_type', default=0, type=int, help="if 1, heterogeneous negative sampling, else normal negative sampling")parser.add_argument('--initial_lr', default=0.025, type=float, help="learning rate")parser.add_argument('--min_count', default=5, type=int, help="min count")parser.add_argument('--num_workers', default=16, type=int, help="number of workers")args = parser.parse_args()m2v = Metapath2VecTrainer(args)m2v.train()

1. 基本用法

main函数部分，主要用到 argparse --- 命令行选项、参数和子命令解析器 — Python 3.8.13 文档

使用 argparse 的第一步是创建一个 ArgumentParser 对象：

parser = argparse.ArgumentParser(description="Metapath2vec")

之后，给一个 ArgumentParser 添加程序参数信息是通过调用 add_argument() 方法完成的：

prog - 程序的名称（默认值：sys.argv[0]）

usage - 描述程序用途的字符串（默认值：从添加到解析器的参数生成）

description - 在参数帮助文档之前显示的文本（默认值：无）

epilog - 在参数帮助文档之后显示的文本（默认值：无）

parents - 一个 ArgumentParser 对象的列表，它们的参数也应包含在内

formatter_class - 用于自定义帮助文档输出格式的类

prefix_chars - 可选参数的前缀字符集合（默认值： '-'）

fromfile_prefix_chars - 当需要从文件中读取其他参数时，用于标识文件名的前缀字符集合（默认值： None）

argument_default - 参数的全局默认值（默认值： None）

conflict_handler - 解决冲突选项的策略（通常是不必要的）

add_help - 为解析器添加一个 -h/--help 选项（默认值： True）

allow_abbrev - 如果缩写是无歧义的，则允许缩写长选项（默认值：True）

对于action参数：

默认情况下，action='store'，可以不用写出来，含义是保存输入的值。
store_true表示如果配置，值为True，store_false表示如果配置，值为False。

参考文献：

argparse --- 命令行选项、参数和子命令解析器 — Python 3.8.13 文档
add_argument函数action参数总结 | Python笔记
Python3.7 - Argparse模块讲解 - 简书

2. jupyter中使用 args = parser.parse_args()并传参

如果需要在jupyter内部传参，需要传进去一个list，格式为：

['参数1', '参数1取值', '参数2', '参数2取值', '参数3', '参数3取值']

例如：

args = parser.parse_args(['--aminer','--path',"/data1/personal",'--output_file',"/data1/personal/metapath2vec_output"])
print(args)

输出：

这个确认是通过https://python.iitter.com/other/302175.html中的内容，把其中

import argparse
import configparserif __name__ == "__main__":jupyter = True  # 如果不在jupyter notebook中，就改为False.parser = argparse.ArgumentParser(description='test')parser.add_argument('--batch_size', type=int, default=64)parser.add_argument('--num_layers', type=int, default=2)arg_list = Noneif jupyter:# load from config.ini，如果是用jupyter, 就转换配置为list再传入argparseconfig = configparser.ConfigParser()config.read('config.ini')# 其实是个字典: # print(config['train']['batch_size'])arg_list = []for k, v in config['train'].items():arg_list.append("--"+k)arg_list.append(v)

最后的arg_list打印出来确认的。

参考文献：

argparse模块如何在jupyter notebook中用于传参？ - 知乎
https://python.iitter.com/other/302175.html
configparser --- 配置文件解析器 — Python 3.8.13 文档

【Python】「argparse基本用法」及「jupyter中使用 args = parser.parse_args()并传参」相关推荐

python中两个文件如何互相传参_argparse模块如何在jupyter notebook中用于传参？
作者:于晨晨研究方向:nlp 发表于公众号:AI技术日常在python代码文件中,通常需要传参,传参就需要经常使用argparse.使用argparse模块在py文件中是正常的,但是jupyter ...
python all和any用法_Python基础：numpy中any()和all()的用法
在掌握了numpy的基础知识后,本篇文章主要介绍numpy.array下,any()和all()函数的用法. 1.简介:numpy.array.any()和numpy.array.all(),以下都用 ...
umijs介绍及基本用法、配置式路由、约定式路由、路由传参等
umiJS Umi 是蚂蚁金服的底层前端框架中文可发音为乌米,是可扩展的企业级前端应用框架.Umi 以路由为基础的,同时支持配置式路由和约定式路由,保证路由的功能完备.同时有强大的插件扩展各种功能. ...
python之scrapy：攻克技术点ASP.NET分页处理、request和response传参、pipeline区分传来Items
上面一篇介绍了scrapy抓取的大概架构,此篇文章针对一些技术问题进行展开说明. 一.如何处理ASP.NET分页我们还是深圳房地产信息系统为例, 因为之前一直是写ASP.NET的,.NET很多控件都 ...
python argparse模块详解_python中argparse模块用法实例详解
本文实例讲述了python中argparse模块用法.分享给大家供大家参考.具体分析如下: 平常在写命令行工具的时候,经常会带参数,所以用python中的argparse来实现. # -*- codi ...
python中的argparse基本用法
1.argparse是一个python模块,用途是:命令行选项.参数和子命令的解释. 2.使用步骤: 导入argparse模块,并创建解释器添加所需参数解析参数 3.用法示例: import ar ...
python argparse模块用法实例详解
转载自https://zhuanlan.zhihu.com/p/56922793 argsparse是python的命令行解析的标准模块,内置于python,不需要安装.这个库可以让我们直接在命令行中 ...
python自学argparse模块
argparse模块 argparse是python用于解析命令行参数和选项的标准模块,用于代替已经过时的optparse模块使用步骤 import argparse # 导入模块,这个没什么说的 ...
argparse.ArgumentParser()用法解析
argparse.ArgumentParser()用法解析(https://blog.csdn.net/the_time_runner/article/details/97941409) https: ...

【Python】「argparse基本用法」及「jupyter中使用 args = parser.parse_args()并传参」

1. 基本用法

2. jupyter中使用 args = parser.parse_args()并传参

【Python】「argparse基本用法」及「jupyter中使用 args = parser.parse_args()并传参」相关推荐

最新文章

热门文章