如何让Ai帮数据分析师干活-工作1
故事背景:
openai公开了api调用接口,北大前几天出了一款chatexcel工具。这两件事本来没什么关系,但是工程师就是这样没事总要给自己找点事干。在一个技术群里跟人吹牛说如果openai开放api我也可以做一个chatexcel,甚至比他们做的更加好。
1.要做到自然语言接需求
2.可以精准的理解用户需求
3.可以给出准确分析结果
4.需要给出可视化的呈现报告
5.如果可以最好能做成ppt呈现
好了然后又是填坑之路,为了快速做产品最小代价poc。于是就openai api+可视化的chatgpt一起使用了。其实如果真要做产品这些必然都是封装好的都是用openai api来做,对用户就一个需求交互框、一个输入数据cvs表的地方就可以。这边我是验证产品上下界,所以请允许我无伤大雅的犯一次规。
思路如下:
1.用户输入表单后对表头做解析,解析出meta信息,已备后续用户需求分析使用
2.先格式化的输入描述,让openai API生成自动化数据分析的代码(产品化时候,可以把用户宽泛需求通过openai转成格式化输入)
3.把生成python代码解析存成.py格式
4.用python得os包执行python脚本,把数据可视化转成html格式方便点击查看
下面看实际效果:
调用api通过自然语言描述生成带代码,给出的结果代码堆在一起,所以需要做解析
![](/assets/blank.gif)
代码解析,这边偷了个懒,让chatgpt帮忙解析出结果
![](/assets/blank.gif)
解析出openai生成的代码如下,因为包的版本问题有些版本冲突问题,为了快速验证,我放弃解决冲突,让chatgpt帮忙重新对任务生成代码。
import pandas as pd
import jieba
from pyecharts import WordCloud# read in the data from the CSV file
data = pd.read_csv('product_reviews.csv')# split product reviews into individual words
reviews = data['Product Review']
word_freq = {}
for review in reviews:words = jieba.cut(review)for word in words:if word in word_freq:word_freq[word] += 1else:word_freq[word] = 1# sort the words by frequency
sorted_word_freq = sorted(word_freq.items(), key=lambda x: x[1], reverse=True)# print the top 10 most frequent words
print('Top 10 most frequent words:')
for word, freq in sorted_word_freq[:10]:print(f'{word}: {freq}')# create a word cloud of the top 50 most frequent words
wordcloud = WordCloud(width=800, height=620)
wordcloud.add("", sorted_word_freq[:50], word_size_range=[20, 100])
wordcloud.render('wordcloud.html')
chatgpt解析任务,生成代码
上面代码有些小bug
于是还是直接测试了用chatgpt来生成代码
![](/assets/blank.gif)
![](/assets/blank.gif)
import pandas as pd
import jieba
from wordcloud import WordCloud
import matplotlib.pyplot as plt
from collections import Counter# read the data from the table
df = pd.read_csv('product_reviews.csv')# create a list of stop words
stop_words = ['的', '了', '是', '我', '你', '他', '她', '我们', '你们', '他们']# tokenize the product reviews and count the frequency of each word
words_list = []
for review in df['Product Review']:words = jieba.lcut(review)words_list.extend(words)
words_freq = Counter(words_list)# remove stop words from the word frequency dictionary
for stop_word in stop_words:words_freq.pop(stop_word, None)# sort the word frequency dictionary by descending order of frequency
sorted_words_freq = sorted(words_freq.items(), key=lambda x: x[1], reverse=True)# print the top 10 most frequent words
print('Top 10 most frequent words in product reviews:')
for word, freq in sorted_words_freq[:10]:print(f'{word}: {freq}')# create a word cloud using the top 50 most frequent words
wordcloud = WordCloud(background_color='white', width=800, height=400).generate_from_frequencies(words_freq.most_common(50))# plot the word cloud
plt.figure(figsize=(12, 6))
plt.imshow(wordcloud, interpolation='bilinear')
plt.axis('off')
plt.show()# save the word cloud as an HTML file
wordcloud.to_file('wordcloud.html')
甚至给出了要安装什么包
让chatgpt帮忙生成一些数据做测试
![](/assets/blank.gif)
import csv
import random# 商品名称列表
product_names = ['Product A', 'Product B', 'Product C', 'Product D', 'Product E']# 生成商品评论数据
product_reviews = []
for i in range(1000):# 随机选择一个商品名称product_name = random.choice(product_names)# 随机生成一个评论product_review = f"This is a great {product_name}!"# 随机生成曝光点次数和点击次数num_exposures = random.randint(1, 100)click_count = random.randint(0, num_exposures)# 添加到商品评论列表中product_reviews.append([product_name, product_review, num_exposures, click_count])# 将商品评论数据写入 CSV 文件
with open('product_reviews.csv', mode='w', newline='') as csv_file:writer = csv.writer(csv_file)# 写入表头writer.writerow(['Product Name', 'Product Review', 'Number of Exposures', 'Click Count'])# 写入数据writer.writerows(product_reviews)
整合项目测试代码效果
![](/assets/blank.gif)
生成数据
![](/assets/blank.gif)
代码生成的词云图
小结:
1.整体看chatgpt已经非常强大,基本可以把每个环节任务做的非常好,只有很小一些版本、数据转化(list和字典)小问题
2.通过对具体任务的拆解,把流程衔接好,chatgpt基本可以完整的解决实际工作生产
3.用单一系统chatgpt或者openai API+简单业务流程串接,开发ai应用产品效果很惊艳
4.未来产品交互将会更加人性化简洁化
5.对于1的小问题,我觉得可以通过领域代码fintune可以完全解决
如何让Ai帮数据分析师干活-工作1相关推荐
- python数据分析就业前景_数据分析师找工作的秘诀,从读懂招聘 JD 开始
JD(job description缩写),在招聘中,最常用到的意思是岗位介绍和工作职责描述. JD让无数求职者头痛,数据分析师更是其中的头疼之最.这份工作门槛尚可,薪资不错,行业发展前景好,因此吸引 ...
- 数据分析师找工作难的原因
1. 为什么数据分析师找工作这么难 虽然数据分析师的岗位层出不穷,市场对于数据分析师的需求量非常大,但很多人在应聘数据分析师的过程中会发现找工作非常难,这主要是因为:数据分析师竞争大:面试者很多不懂业 ...
- python做金融数据分析师_金融数据分析师的工作职责描述
金融数据分析师负责为客户提供理财咨询.建议服务, 制定相应的投资组合和策略.下面是学习啦小编为您精心整理的金融数据分析师的工作职责描述. 金融数据分析师的工作职责描述1 职责: 1.利用相关软件进行金 ...
- python金融大数据分析师工资待遇_请问数据分析师这个工作怎么样,是否值得成为努力方向?...
我们从两个方面分析下这个问题:数据分析岗位薪水趋势 数据分析职位量发展趋势北京联科数信科技有限公司-长期招聘岗位mp.weixin.qq.com (本公司目前也在招一些数据分析师,关注上面公司公众号 ...
- python数据分析师工作内容_数据分析师日常工作是什么?
谢不邀.我的头衔不是数据分析师,虽然干的是数据分析师的活,但是没人拿我当个专业人员,遑论专家.我自己也没拿自己当数据分析师过.回答这个问题纯属自己装个B. 我目前效力于三桶油之一的某大桶油的销售公司, ...
- 数据分析师的工作原则
#1.一级原则 ##1.1 数据正确是根本 最近工作,遇到最大的坑就是在做数据分析时,取错了数据.一旦取错,接下来做的所有分析,都是在错误的基础上进行的,这只会带来两个结果:第一个,浪费自己的生命:第 ...
- 人力资源数据分析师前景_数据分析师好找工作吗,待遇怎么样
展开全部 数据分析师的薪资待遇62616964757a686964616fe4b893e5b19e31333433643732不一般来说要比同级的职位高很多,大多数都是在两成到三成.同时,数据分析师备 ...
- 数据行业工作3年,我靠这7个能力,成为领导青睐的高级数据分析师
每个行业都有好的数据分析师,但如何定义顶尖呢? 顶级的数据分析师一定会在数据变现最牛的行业里存在,这些业务是真正的数据驱动,因为数据上差一点点,效益就会差一大截. 这里以运营商为例来说明顶级数据分析师 ...
- 数据分析师的具体工作职责和工作内容有哪些?
我和我们数据分析师总监深入聊了一下,这个答案不仅会和大家聊一下工作内容和工作职责,还会真心实意的和大家聊下这个工作是不是像想象中那么光鲜,有什么大家其实没想到的工作,其实很重要,也很闹心,也很有成长. ...
最新文章
- Go 分布式学习利器(10)-- Go语言的接口
- 姿态估计开源项目汇总
- 【NLP实战】如何基于Tensorflow搭建一个聊天机器人
- 【我所认知的BIOS】—gt; uEFI AHCI Driver(5) — 第一个protocol最终要開始安装了
- Java object方法与GC回收
- trade-off 翻译
- 学会这三种贷中调额方法,今年优化list没我
- java 运行时异常 处理_如何在Java中处理运行时异常?
- 线上python课程一般多少钱-专业Python实战课程|学习Python需要多少钱?
- 机顶盒ttl无法输入_请教大神,机顶盒接TTL进不了uboot模式
- [论文总结] 深度学习在农业领域应用论文笔记10
- FPGA:生成占空比可调的PWM波
- 【Pr】视频剪辑学习记录——导出
- a+b / a-b / a*b / a/b c++问题题解
- mysql choose when_mybatis使用choose when
- 常用工具 [ubuntu 图像编辑软件]
- CSS | 关于Spirit
- uniapp app引入谷歌地图
- 提升语音识别率的技术 强调与唤醒词相符的输入语音数据
- C#连接Access数据库