先來作數(shù)據(jù)的一些簡(jiǎn)單的摸索，如數(shù)據(jù)集各變量的類型、數(shù)據(jù)集是否存在重復(fù)等。
# =========== Python3.X Jupyter ===========
# 導(dǎo)入第三方包
importpandas aspd
importnumpy asnp
importmatplotlib.pyplot asplt
# 讀取外部數(shù)據(jù)源
app_info = pd.read_excel( r'E:Jupyterapps.xlsx')
# 數(shù)據(jù)集的觀測(cè)數(shù)量及變量數(shù)
app_info.shape
# 窺探數(shù)據(jù)前5行信息
app_info.head()
# 查看數(shù)據(jù)集各變量的類型
app_info.dtypes
# 檢查數(shù)據(jù)是否有重復(fù)（一般對(duì)于爬蟲數(shù)據(jù)都需要檢查）
any(app_info.duplicated())
# 數(shù)值變量的描述性分析
app_info.describe()
從上面代碼的運(yùn)行結(jié)果來看，數(shù)據(jù)集中，除了評(píng)論人數(shù)comments變量是數(shù)值型的，其他變量均為字符型；通過重復(fù)性檢查，數(shù)據(jù)集確實(shí)存在重復(fù)觀察，需要排重；通過評(píng)論人數(shù)的描述性統(tǒng)計(jì)來看，盡然最小值為-1，很明顯，這就是一個(gè)異常數(shù)據(jù)，需要處理。
數(shù)據(jù)清洗
-
重復(fù)觀測(cè)的剔除和異常值的剔除
app_info.drop_duplicates(inplace= True)app_info.shape
# 刪除評(píng)論人數(shù)為-1的觀測(cè)（因?yàn)橹挥?條記錄）
app_info = app_info.loc[app_info.comments != - 1,]
經(jīng)過排重后，盡然發(fā)現(xiàn)有98條重復(fù)數(shù)據(jù)，這個(gè)比較容易理解，因?yàn)槟骋粋€(gè)APP可能被劃分成多各類（如“每日優(yōu)鮮”就被劃分為了“商城”、“優(yōu)惠”、“團(tuán)購”和“快遞”四類），那這個(gè)APP就容易被重復(fù)抓取幾次，從而導(dǎo)致數(shù)據(jù)集的重復(fù)。
# 離散變量的統(tǒng)計(jì)描述
app_info.describe(include = [ 'object'])
從離散變量的描述性統(tǒng)計(jì)來看，變量company存在缺失值；在電商類APP中，快遞類APP盡然最多，高達(dá)210個(gè)，可想而知，電商帶動(dòng)了多少人的就業(yè)啊~；從電商類的公司來看，淘寶絕對(duì)是獨(dú)占鰲頭啊，至少有8類APP都是淘寶門下的；我們還發(fā)現(xiàn)，好評(píng)率love一列存在642個(gè)“暫無”，即存在缺失值。
-
數(shù)據(jù)類型變換
從上面的數(shù)據(jù)變量類型的返回結(jié)果看，只有評(píng)論人數(shù)comments變量是數(shù)值型的，其他變量均為字符型，很明顯，對(duì)于APP的下載人數(shù)、好評(píng)率和軟件大小均可以轉(zhuǎn)換為數(shù)值型，同時(shí)，軟件的更新時(shí)間也可以轉(zhuǎn)換為真正的日期型。探索過程中，細(xì)心的你一定會(huì)發(fā)現(xiàn)，APP的安裝人數(shù)單位不一致，有的以萬為單位，有的以億為單位，有的就沒有單位；同樣，軟件的大小，有的以MB為單位，有的則以KB為單位，所以在數(shù)據(jù)類型轉(zhuǎn)換前，一定要處理好量綱。
# 自定義函數(shù)，處理安裝人數(shù)的單位
deffunc(x):ifx.find( '億') != - 1: y = float(x[:- 1])* 10000elifx.find( '萬') != - 1: y = float(x[:- 1]) else: y = float(x)/ 10000return(y)
# 安裝人數(shù)變量的類型轉(zhuǎn)換
app_info[ 'install_new'] = app_info.install.apply(func)
# 自定義匿名函數(shù)
y = lambdax : float(x[:- 2]) ifx.find( 'MB') != - 1elsefloat(x[:- 2])/ 1024
# 軟件大小變量的類型轉(zhuǎn)換
app_info[ 'size_new'] = app_info[ 'size'].apply(y)
# 自定義匿名函數(shù)，將“暫無”設(shè)置為缺失值
y = lambdax : np.nan ifx == '暫無'elsefloat(x[:- 1])/ 100app_info[ 'love_new'] = app_info[ 'love'].apply(y)
# 用中位數(shù)對(duì)好評(píng)率進(jìn)行填補(bǔ)
app_info[ 'love_new'] = app_info.love_new.fillna(app_info.love_new.median())
# 日期類型的轉(zhuǎn)換
app_info[ 'update_new'] = pd.to_datetime(app_info[ 'update'], format = '%Y年%m月%d日')
OK，數(shù)據(jù)清洗這塊的任務(wù)就完成了，代碼中有很多細(xì)節(jié)的地方值得注意哦~希望這些數(shù)據(jù)清洗的技巧對(duì)各位網(wǎng)友有所幫助。接下來，我們?cè)賮砜纯磾?shù)據(jù)的描述性統(tǒng)計(jì)結(jié)果：
# 數(shù)值變量的描述性統(tǒng)計(jì)
app_info.describe()
# 刪除不必要的變量
app_info.drop([ 'install', 'size', 'love', 'update'], axis = 1, inplace= True)app_info.head()
數(shù)據(jù)的可視化分析
首先需要回答的第一個(gè)問題是，各類APP中，下載量前5的都是哪些應(yīng)用？
# 各類應(yīng)用安裝量最多的前5個(gè)APP（產(chǎn)生繪圖數(shù)據(jù)）
ls = []categories = [ '商城', '團(tuán)購', '優(yōu)惠', '快遞', '全球?qū)з?#39;]
forcate incategories: sub = app_info.loc[app_info.appcategory.apply( lambdax : x.find(cate) != - 1),[ 'appname', 'install_new']] # 取前5的安裝量sub = sub.sort_values(by = [ 'install_new'],ascending= False)[: 5] sub[ 'type'] = cate ls.append(sub)
# 合并數(shù)據(jù)集
app_install_cat = pd.concat(ls)
# 設(shè)置繪圖風(fēng)格
plt.style.use( 'ggplot')
# 中文處理
plt.rcParams[ 'font.sans-serif'] = 'Microsoft YaHei'
# 為了讓多張子圖在一張圖中完成，設(shè)置子圖的位置
ax1 = plt.subplot2grid(( 3, 2),( 0, 0))ax2 = plt.subplot2grid(( 3, 2),( 0, 1))ax3 = plt.subplot2grid(( 3, 2),( 1, 0))ax4 = plt.subplot2grid(( 3, 2),( 1, 1))ax5 = plt.subplot2grid(( 3, 2),( 2, 0), colspan= 2) # colspan指定跨過的列數(shù)
# 將圖框存放起來，用于循環(huán)使用
axes = [ax1,ax2,ax3,ax4,ax5]types = app_install_cat.type.unique()
# 循環(huán)的方式完成5張圖的繪制
fori inrange( 5):
# 準(zhǔn)備繪圖數(shù)據(jù)data = app_install_cat.loc[app_install_cat.type == types[i]]
# 繪制條形圖axes[i].bar(range( 5), data.install_new, color = 'steelblue', alpha = 0.7)
# 設(shè)置圖框大小gcf = plt.gcf() gcf.set_size_inches( 8, 6)
# 添加標(biāo)題axes[i].set_title(types[i]+ '類APP下載量前5的應(yīng)用', size = 9)
# 設(shè)置刻度位置axes[i].set_xticks(np.arange( 5) + 0.4)
# 為刻度添加標(biāo)簽值axes[i].set_xticklabels(data.appname, fontdict={ 'fontsize': 7}, color = 'red')
# 刪除各子圖上、右和下的邊界刻度標(biāo)記axes[i].tick_params(top = 'off', bottom = 'off', right = 'off')
# 調(diào)整子圖之間的水平間距和高度間距
plt.subplots_adjust(hspace= 0.6, wspace= 0.3)
# 顯示圖形
plt.show()
由上圖可知，從商城類和優(yōu)惠類的應(yīng)用中，唯品會(huì)APP在豌豆莢市場(chǎng)上的下載量都躍居前五；對(duì)于團(tuán)購類和快遞類，美團(tuán)和菜鳥的下載量還是占絕對(duì)優(yōu)勢(shì)的；全球?qū)з忣?/strong>下載量前三的APP并沒有太大差異，且下載量并不大，個(gè)人覺得主流商城APP（如天貓，京東，唯品會(huì)）都有海淘業(yè)務(wù)，基本能滿足消費(fèi)者需求。
再來回答第二個(gè)問題，各類APP中，好評(píng)率最差的5個(gè)APP又是哪些？下面的這段代碼與上面的代碼基本一致，只是換了數(shù)據(jù)，所以，讀者要確保能夠讀懂第一段繪圖語句。
# 各類應(yīng)用好評(píng)率最低的前5個(gè)APP（產(chǎn)生繪圖數(shù)據(jù)）
ls = []categories = [ '商城', '團(tuán)購', '優(yōu)惠', '快遞', '全球?qū)з?#39;]
forcate incategories: sub = app_info.loc[app_info.appcategory.apply( lambdax : x.find(cate) != - 1),[ 'appname', 'love_new']]
# 取后5的好評(píng)率sub = sub.sort_values(by = [ 'love_new'])[: 5] sub[ 'type'] = cate ls.append(sub)
app_love_cat = pd.concat(ls)
# 為了讓多張子圖在一張圖中完成，設(shè)置子圖的位置
ax1 = plt.subplot2grid(( 3, 2),( 0, 0))ax2 = plt.subplot2grid(( 3, 2),( 0, 1))ax3 = plt.subplot2grid(( 3, 2),( 1, 0))ax4 = plt.subplot2grid(( 3, 2),( 1, 1))ax5 = plt.subplot2grid(( 3, 2),( 2, 0), colspan= 2) # colspan指定跨過的列數(shù)
# 將圖框存放起來，用于循環(huán)使用
axes = [ax1,ax2,ax3,ax4,ax5]types = app_love_cat.type.unique() # 循環(huán)的方式完成5張圖的繪制
fori inrange( 5): # 準(zhǔn)備繪圖數(shù)據(jù)data = app_love_cat.loc[app_love_cat.type == types[i]]
# 繪制條形圖axes[i].bar(range( 5), data.love_new, color = 'steelblue', alpha = 0.7)
# 設(shè)置圖框大小gcf = plt.gcf() gcf.set_size_inches( 8, 6)
# 添加標(biāo)題axes[i].set_title(types[i]+ '類APP好評(píng)率后5的應(yīng)用', size = 9)
# 設(shè)置x軸刻度位置axes[i].set_xticks(np.arange( 5) + 0.4)
# 為x軸刻度添加標(biāo)簽值axes[i].set_xticklabels(data.appname, fontdict={ 'fontsize': 7}, color = 'red')
# 設(shè)置y軸刻度位置axes[i].set_yticks(np.arange( 0, 0.6, 0.15))
# 為y軸刻度添加標(biāo)簽值axes[i].set_yticklabels([str(i* 100) + '%'fori innp.arange( 0, 0.6, 0.15)])
# 刪除各子圖上、右和下的邊界刻度標(biāo)記axes[i].tick_params(top = 'off', bottom = 'off', right = 'off')
# 調(diào)整子圖之間的水平間距和高度間距
plt.subplots_adjust(hspace= 0.6, wspace= 0.3)plt.show()
上圖反映的是，各類APP好評(píng)率最差的5個(gè)應(yīng)用，有幾個(gè)是我比較出乎意料，如商城類APP中，熟知的沃爾瑪、千牛和建行善融商城也在里面；聚劃算居然都出現(xiàn)在了團(tuán)購類和優(yōu)惠類APP中；對(duì)于快遞類的應(yīng)用來說，中國郵政口碑最差，其次是京東眾包（大概了解了一下京東眾包，這是一個(gè)全民快遞服務(wù)APP，可以理解成C2C的服務(wù)）。
最后，再來回答第三個(gè)問題，評(píng)論人數(shù)與好評(píng)率是否存在某種關(guān)系呢？
# 導(dǎo)入第三方模塊
fromsklearn.linear_model importLinearRegression
# 散點(diǎn)圖
plt.scatter(app_info.comments, # 評(píng)價(jià)人數(shù)app_info.love_new, # 好評(píng)率s = 30, # 設(shè)置點(diǎn)的大小 c = 'black', # 設(shè)置點(diǎn)的顏色marker = 'o', # 設(shè)置點(diǎn)的形狀alpha = 0.9, # 設(shè)置點(diǎn)的透明度linewidths = 0.3, # 設(shè)置散點(diǎn)邊界的粗細(xì)label = '觀測(cè)點(diǎn)')
# 建模
reg = LinearRegression().fit(app_info.comments.reshape(- 1, 1), app_info.love_new)
# 回歸預(yù)測(cè)值
pred = reg.predict(app_info.comments.reshape(- 1, 1))
# 繪制回歸線
plt.plot(app_info.comments, pred, linewidth = 2, label = '回歸線')
# 顯示圖例plt.legend(loc = 'lower right')
# 添加軸標(biāo)簽和標(biāo)題
plt.title( '評(píng)論人數(shù)與好評(píng)率的關(guān)系')plt.xlabel( '評(píng)論人數(shù)')plt.ylabel( '好評(píng)率')
# 去除圖邊框的頂部刻度和右邊刻度
plt.tick_params(top = 'off', right = 'off')
# 顯示圖形
plt.show()
從這1100個(gè)APP的樣本來看，似乎評(píng)論人數(shù)與好評(píng)率存在正向關(guān)系，但也不好說，畢竟好評(píng)率有太多的確實(shí)，這里只是用來中位數(shù)來替補(bǔ)的。如果感興趣的話，你們也可以試試把確實(shí)的那些樣本刪除之后，再看看兩者的關(guān)系。我們?cè)賮砜匆幌?ldquo;評(píng)論人數(shù)”數(shù)據(jù)的分布情況：
# 評(píng)論人數(shù)的描述統(tǒng)計(jì)
app_info.comments.describe(percentiles=np.arange( 0, 1.2, 0.2))
有8成的APP，其評(píng)論人數(shù)不超過53人，數(shù)據(jù)太過偏態(tài)了。這里先篩選出評(píng)論人數(shù)不超過55人的app，然后，對(duì)其研究“評(píng)論人數(shù)”與“好評(píng)率”的關(guān)系。
# 取出數(shù)據(jù)子集
sub_data = app_info.loc[app_info.comments <= 55,]
# sub_data = app_info.loc[app_info.comments > 55,]
# 繪制散點(diǎn)圖
plt.scatter(sub_data.comments, # 評(píng)價(jià)人數(shù)sub_data.love_new, # 好評(píng)率s = 30, # 設(shè)置點(diǎn)的大小 c = 'black', # 設(shè)置點(diǎn)的顏色marker = 'o', # 設(shè)置點(diǎn)的形狀alpha = 0.9, # 設(shè)置點(diǎn)的透明度linewidths = 0.3, # 設(shè)置散點(diǎn)邊界的粗細(xì)label = '觀測(cè)點(diǎn)')
# 建模
reg = LinearRegression().fit(sub_data.comments.reshape(- 1, 1), sub_data.love_new)
# 回歸預(yù)測(cè)值
pred = reg.predict(sub_data.comments.reshape(- 1, 1))
# 繪制回歸線
plt.plot(sub_data.comments, pred, linewidth = 2, label = '回歸線')
# 顯示圖例plt.legend(loc = 'lower right')
# 添加軸標(biāo)簽和標(biāo)題
plt.title( '評(píng)論人數(shù)與好評(píng)率的關(guān)系')plt.xlabel( '評(píng)論人數(shù)')plt.ylabel( '好評(píng)率')
# 顯示圖形
plt.show()
奇怪，經(jīng)過篩選后，發(fā)現(xiàn)兩者的關(guān)系又呈現(xiàn)負(fù)向關(guān)系了。反之，如果只看評(píng)論人數(shù)超過55人的那些APP，繪圖結(jié)果，又呈現(xiàn)正向關(guān)系。
