深度学习-Tensorflow2.2-一维卷积网络{12}-一维卷积实例-27

一维卷积

航空公司评论数据集

import tensorflow as tf
import matplotlib.pyplot as plt
%matplotlib inline
import numpy as np
import pandas as pd
import os
import re

# 显存自适应分配
gpus = tf.config.experimental.list_physical_devices(device_type='GPU')
for gpu in gpus:tf.config.experimental.set_memory_growth(gpu,True)

gpu_ok = tf.test.is_gpu_available()
print("tf version:", tf.__version__)
print("use GPU", gpu_ok) # 判断是否使用gpu进行训练

# 读取数据
data = pd.read_csv ("F:/py/ziliao/数据集/Tweets.csv")
data.head()

data = data[["airline_sentiment","text"]]

data.airline_sentiment.value_counts()# 查看各评论的条数

data_p = data[data.airline_sentiment=="positive"]
data_n = data[data.airline_sentiment=="negative"]

data_n = data_n.iloc[:len(data_p)] # 我们从差评里取出好评这么多数据让数据一致

数据预处理

# 创建新的数据
data = pd.concat([data_n,data_p])
len(data)

data = data.sample(len(data))# 乱序
data

# 处理label
# 返回布尔值，把布尔值astype成int类型  赋值给review列
data["review"] = (data.airline_sentiment=="positive").astype("int")

del data["airline_sentiment"] #删除该列

处理文本

token = re.compile("[A-Za-z]+|[!?,.()]")# 编写一个正则取出A-Z a-z !?,.()

def reg_text(text):new_text = token.findall(text) # 提取字符new_text = [word.lower()for word in new_text] # 变成小写return new_text

data["text"] = data.text.apply(reg_text) # 字符处理后重新赋值给text

# 提取出文本中的唯一单词
word_set = set()
for text in data.text:for word in text:word_set.add(word)

len(word_set)# 查看单词数

max_word = len(word_set)+1
max_word

# 构造一个 英文单词：索引
word_list = list(word_set) # 转换成列表

word_list.index("customersfirst")

# 转换成 英文单词：数字索引 把所有数字+1 表示不从0开始数数
word_index = dict((word,word_list.index(word)+1) for word in word_list)

word_index

# 对数据集进行转换  如果未匹配到 0作为填充
data_ok = data.text.apply(lambda x:[word_index.get(word,0)for word in x])

max(len(x)for x in data_ok),min(len(x)for x in data_ok) # 查看评论长度

maxlen = max(len(x)for x in data_ok)

# 对所有评论安装最大长度进行填充 填充为0
data_ok = tf.keras.preprocessing.sequence.pad_sequences(data_ok.values,maxlen=maxlen)

data_ok.shape #  数据

label = data.review.values # label
label

建立模型

model = tf.keras.Sequential()
model.add(tf.keras.layers.Embedding(max_word, 50, input_length=maxlen))
model.add(tf.keras.layers.Conv1D(32, 7, activation='relu', padding='same'))
model.add(tf.keras.layers.MaxPooling1D(3))
model.add(tf.keras.layers.Conv1D(32, 7, activation='relu', padding='same'))
model.add(tf.keras.layers.GlobalAveragePooling1D())
model.add(tf.keras.layers.Dense(1, activation='sigmoid'))

# 编译模型
model.compile(optimizer=tf.keras.optimizers.RMSprop(),loss='binary_crossentropy',metrics=['acc']
)

# 训练
history = model.fit(data_ok,label, # 训练数据及labelepochs=10, # 训练步数batch_size=50, # 每次训练50个数据validation_split=0.2    # 从训练集中分割出20%作为测试集
)

深度学习-Tensorflow2.2-一维卷积网络{12}-一维卷积实例-27相关推荐

深度学习-Tensorflow2.2-卷积神经网络{3}-卫星图像识别卷积综合实例（二分类）-13
import tensorflow as tf import matplotlib.pyplot as plt %matplotlib inline import numpy as np import ...
深度学习-Tensorflow2.2-tf.data输入模块{2}-tf.data输入实例-10
# -*- coding: utf-8 -*- import os os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2' # 修改警告级别,不显示警告 import ten ...
深度学习-11:神经元、神经网络、人脑和卷积神网络
深度学习-11:神经元.神经网络.人脑和卷积神网络深度学习原理与实践(开源图书)-总目录在生物神经网络中,学习源自于大脑中无数神经元之间的连接.大脑接触到新的刺激后,这些神经元之间的连接改变了配置 ...
深度学习中的生成对抗网络GAN
转载:一文看尽深度学习中的生成对抗网络 | CVHub带你看一看GANs架构发展的8年 (qq.com) 导读生成对抗网络 (Generative Adversarial Networks, GAN ...
【深度学习基础】一步一步讲解卷积神经网络
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送本文转自:一步一步讲解卷积神经网络卷积神经网络(Convoluti ...
基于深度学习的SDN家庭网关加密网络流量分类
写在前面: 本文翻译供个人研究学习之用,不保证严谨与准确 github链接:https://github.com/WithHades/network_traffic_classification_pa ...
基于深度学习的点云分割网络及点云分割数据集
作者丨泡椒味的泡泡糖来源丨深蓝AI 引言点云分割是根据空间.几何和纹理等特征对点云进行划分,使得同一划分内的点云拥有相似的特征.点云的有效分割是许多应用的前提,例如在三维重建领域,需要对场景内的物 ...
前沿丨基于深度学习的点云分割网络及点云分割数据集
众所周知,点云的有效分割是许多应用的前提,例如在三维重建领域,需要对场景内的物体首先进行分类处理,然后才能进行后期的识别和重建.传统的点云分割主要依赖聚类算法和基于随机采样一致性的分割算法,在很多技术 ...
深度学习入门笔记（十九）：卷积神经网络（二）
欢迎关注WX公众号:[程序员管小亮] 专栏--深度学习入门笔记声明 1)该文章整理自网上的大牛和机器学习专家无私奉献的资料,具体引用的资料请看参考文献. 2)本文仅供学术交流,非商用.所以每一部分具 ...

深度学习-Tensorflow2.2-一维卷积网络{12}-一维卷积实例-27

一维卷积

航空公司评论数据集

深度学习-Tensorflow2.2-一维卷积网络{12}-一维卷积实例-27相关推荐

最新文章

热门文章