说明

数据来源kaggle数据，为某商城部分玩具商品数据

提出问题在该商城最受欢迎的玩具是什么？

什么品牌最受欢迎？

各个分类的玩具商品的价格分布情况是什么样的？

理解数据

数据存储在mysql中，表名是toy_products_on_amazon

查看表信息

show columns from toy_products_amazon

数据表共有9列，所有的列都以文本格式进行存储，其中uniq_id是主键，其余的列含义也较为清晰，从列名就可得知。除主键外其余的列都可能存在空值，这在清洗数据时需要注意。

查看数据条数

select count(*) from toy_products_amazon

再来看每列具体的内容，查看头10条信息

select * from toy_products_amazon limit 10

product_name: 含空格的字符串

manufacturer：含空格的字符串，含有未知的生产商

price：非纯数字，带有货币符号，含有空值

number_available_in_stock：库存数 同时代有新品/二手的标识，含有空值

number_of_reviews：浏览情况，纯数字

number_of_answered_questions：有多少用户提问被回答，纯数字

average_review_rating：用户的评分，最高为5星

amazon_category_and_sub_category：用 '>' 符号进行分割分类和子分类，含有空值

数据清洗选择需要的列，并将这些列复制到新的数据表，以保证原有数据不会在操作中丢失和被改变

为了回答最开始的三个问题，需要知道商品的名称、生产商、对应的价格、浏览的情况、用户的评分以及分类信息

create table toy_products_for_analysis (unique(uniq_id))

select uniq_id, product_name, manufacturer, price,

number_of_reviews, average_review_rating,

amazon_category_and_sub_category

from toy_products_on_amazon

2. 字段重命名

本例中的数据字段名已足够明确，无需重命名

3. 删除重复值

本例中的数据有主键约束，无重复值，商品名也未发现重复

4. 处理缺失值

uniq_id是主键不可能存在缺失值

对各列进行非空值的统计可得

首先对manufacturer进行处理

select * from toy_products_for_analysis

where manufacturer is null or manufacturer = 'Unknown'

有45条数据，对应总数9300条数据的占比很小，且其中大部分的数据的用户浏览数都很小，只有其中一条的浏览量达到202数量较大，在统计最受欢迎的品牌时可能会产生影响，品牌的平均浏览数

with t as(

select sum(number_of_reviews) as number_of_manufacurer_reviews

from toy_products_for_analysis

group by manufacturer)

select avg(number_of_manufacurer_reviews) from t

其余空值可以丢弃

对price进行处理，price的空值较多接近1500条，不适合手动处理。若不想丢弃空值数据，可以填入统计值。但price字段含有货币符号无法进行计算，需要先去掉货币符合。为不影响原数据，增加新的一列并去除price字段中的货币符号后填入新的列

alter table toy_products_for_analysis add price_of_product decimal(64, 2);

update toy_products_for_analysis

set price_of_product = cast(substring_index(price, '£', -1) as decimal(64, 2))

往空值中填入同品牌，同分类的平均价格

update toy_products_for_analysis x

set x.price_of_product = (

with t as (

select manufacturer, amazon_category_and_sub_category,

avg( price_of_product ) as avg_price

from toy_products_for_analysis group by manufacturer,

amazon_category_and_sub_category

) select avg_price from t where

x.manufacturer = t.manufacturer

and x.amazon_category_and_sub_category = t.amazon_category_and_sub_category

)

where x.price_of_product is null

仍然存在空值，因部分商品的品牌在对应分类下无商品或价格为空，剩余的空值数据不多，填入所有商品的平均价格

number_of_reviews、average_review_rating与amazon_category_and_sub_category的空值数据少不超过100条数据，将空值数据丢弃

delete from toy_products_for_analysis

where amazon_category_and_sub_category is null

or number_of_reviews is null

or average_review_rating is null

or manufacturer is null

or manufacturer = 'Unkonwn'

5. 一致化处理

其中价格已经经过处理，对average_review_rating 进行处理，从字段中分离出用户评分，处理方式与处理价格时类似

alter table toy_products_for_analysis add star decimal(64, 2);

update toy_products_for_analysis

set star = cast(substring_index(average_review_rating, 'out', 1) as decimal(64, 2))

此外还需要将浏览数据转换为数字，方便进行排序和比较

alter table toy_products_for_analysis change reviews reviews integer(10) unsigned;

update ignore toy_products_for_analysis

set reviews = cast(number_of_reviews as unsigned)

6. 排序，进一步对数据进行观察

对价格，用户评分，用户的浏览进行排序

select * from toy_products_for_analysis order by price_of_product desc;

select * from toy_products_for_analysis order by star desc;

select * from toy_products_for_analysis order by number_of_reviews desc;

其中有一半以上的商品评分为满分，对商品评分的可信度保留意见

7. 异常值处理

未发现异常值

构建模型

在该商城最受欢迎的玩具是什么?

和商品受欢迎程度相关的数据有两个维度，一个是评分，一个是浏览数据，分别使用评分和浏览量作为排序的优先条件进行对比

select product_name, reviews, star

from toy_products_for_analysis order by star desc, reviews desc;

可以发现评分最高商品的浏览量只有23，是少数用户的行为，不具有代表性，改为用用户浏览量优先排序

select product_name, reviews, star

from toy_products_for_analysis order by reviews desc, star desc

什么品牌最受欢迎？

与商品类似，以品牌的总浏览量进行统计衡量

select manufacturer, sum(reviews)

from toy_products_for_analysis

group by manufacturer order by sum(reviews) desc

各个分类的玩具商品的价格分布情况是什么样的？

以商品分类为维度进行描述统计

select amazon_category_and_sub_category, avg(price_of_product),

max(price_of_product) , min(price_of_product)

from toy_products_for_analysis

group by amazon_category_and_sub_category