# -*-coding:utf-8-*-

from pandas import DataFrame
import pandas as pd
import numpy as np

"""
 獲取行列數(shù)據(jù)
"""
df = DataFrame(np.random.rand(4, 5), columns=['A', 'B', 'C', 'D', 'E'])
print df
print

df['col_sum'] = df.apply(lambda x: x.sum(), axis=1) # 橫向求和，axis=1表示橫向
df.loc['row_sum'] = df.apply(lambda x: x.sum()) # loc獲取一整列的數(shù)據(jù)，對(duì)一列數(shù)據(jù)進(jìn)行求和

print df
print

dd = pd.DataFrame(np.arange(0, 60, 2).reshape(10, 3), columns=list('abc'))

# loc獲取一整列的數(shù)據(jù)
print dd
print
print dd.loc[0:len(dd), 'a']
print
print dd.loc[0:3, ['a', 'b']]
print
print dd.loc[[1, 5], ['b', 'c']]
print '--------------------------------------'

# iloc獲取某個(gè)位置的元素，或者某個(gè)區(qū)域的元素
print dd.iloc[1, 1]
print dd.iloc[0:3, [0, 1]]
print dd.iloc[[0, 3, 5], 0:2]
print '--------------------------------------'

"""
 去重函數(shù) drop_duplicates()
"""
from pandas import Series, DataFrame

data = DataFrame({'k': [1, 1, 2, 2]})
print data
print type(data) # <class 'pandas.core.frame.DataFrame'>
print

isduplicates = data.duplicated() # duplicated()判斷是否是重復(fù)的項(xiàng)
print isduplicates
print type(isduplicates) # <class 'pandas.core.series.Series'>
print

data = data.drop_duplicates() # drop_duplicates()移除重復(fù)的項(xiàng)
print data
print type(data) # <class 'pandas.core.frame.DataFrame'>
print '-------------------------------------------------'

"""
 Pandas.DataFrame 讀取、合并、修改列數(shù)據(jù)、新增列、分組、分組數(shù)據(jù)計(jì)算
"""
import numpy as np
import pandas as pd
from pandas import Series, DataFrame
from datetime import timedelta, datetime
from dateutil.parser import parse

"""
 讀寫csv文件
"""
# 讀取csv文件
df = pd.read_csv('data_english.csv', encoding='gbk')
# print df
print type(df) # <class 'pandas.core.frame.DataFrame'>
print df.columns # 所有列的標(biāo)簽
print df.index # 所有行的標(biāo)簽
print df.book_id # 選擇某一列，可以使用df.book_id ，也可以使用df['book_id']
print type(df.book_id) # <class 'pandas.core.series.Series'>
print np.array(df.book_id) # 將Series轉(zhuǎn)換為numpy的darray格式
print '---------------------------------------------------------'

# 寫入csv文件
# df.to_csv('dat.csv', index=False, encoding='gbk') # index=False表示不把index寫入文件

"""
 行列的選取
"""
print df.read_name # 選擇一列
print df[:3] # 選擇前3行
print df.loc[:, ('read_num', 'read_name')] # df.loc[行標(biāo)簽，列標(biāo)簽]
print df.iloc[2, 4] # df.iloc[行位置，列位置]
print df.ix[2, 4] # df.ix[行位置或行標(biāo)簽，列位置或列標(biāo)簽]

# bool判斷
print df[df.read_name == u'山問萍'].head() # 獲取符合條件的行列
print df[(df.read_name == u'山問萍') & (df.book == u'植物生理學(xué)實(shí)驗(yàn)教程')] # 多個(gè)條件
print '----------------------------------------------'

"""
 兩個(gè)df相merge
"""
# pd.concat([df1, df2]) # 兩個(gè)df的column都一樣，index不重復(fù)（增加列）
# pd.concat([df1, df2], axis=1) # 兩個(gè)df的index都一樣，column不重復(fù)（增加行）

"""
 增加列，刪除列，重命名某一列
"""
# df['new_col'] = xxx # 直接增加一列，加到最后一列
# df.insert[1, 'new_col'] # 使用df.insert 插入一列，可以設(shè)置這一列的位置
# del df['one_col'] # 直接使用del進(jìn)行刪除，刪除某一列
# df = df.rename(columns={'old_name': 'new_name'}) # 重命名某一列
# df = df.rename(columns={'old_name': 'new_name'}, inplace=True)
# print '--------------------------------------------------------'

"""
 apply(): 對(duì)dataframe的內(nèi)容進(jìn)行批量處理，比循環(huán)更快
 map(),
 agg()：對(duì)分組的結(jié)果再分別進(jìn)行不同的操作
"""

"""
 數(shù)據(jù)合并
"""
import numpy as np
import pandas as pd

data1 = pd.DataFrame({'level': ['a', 'b', 'c', 'd'], 'number': [1, 3, 5, 7]})
data2 = pd.DataFrame({'level': ['a', 'b', 'c', 'e'], 'number': [2, 3, 4, 5]})
print data1
print data2
print pd.merge(data1, data2, on='level') # 合并，內(nèi)連接

data3 = pd.DataFrame({'level1': ['a', 'b', 'c', 'd'], 'number': [1, 3, 5, 7]})
data4 = pd.DataFrame({'level2': ['a', 'b', 'c', 'e'], 'number': [2, 3, 4, 5]})
print pd.merge(data3, data4, left_on='level1', right_on='level2')
print pd.merge(data3, data4, left_on='level1', right_on='level2', how='left')
print '----------------------------------------'
"""
 merge參數(shù)說明：
  left和right:兩個(gè)不同的DataFrame
  how:合并的方式-->inner內(nèi)連接，right右連接，left左連接，outer外連接，默認(rèn)為inner
  on:用于連接的列索引名稱，必須存在于兩個(gè)DataFrame對(duì)象中
  left_on:
  right_on:
  left_index:
  right_index:
  sort:默認(rèn)為True,將合并的數(shù)據(jù)進(jìn)行排序
  suffixes:當(dāng)列名相同時(shí)，合并后，自動(dòng)添加后綴名稱，默認(rèn)為(_x, _y)
  copy:默認(rèn)為True，復(fù)制數(shù)據(jù)結(jié)構(gòu)
  indicator:
"""

"""
 重疊數(shù)據(jù)合并
"""
data3 = pd.DataFrame({'level': ['a', 'b', 'c', 'd'], 'number1': [1, 3, 5, np.nan]})
data4 = pd.DataFrame({'level': ['a', 'b', 'c', 'e'], 'number2': [2, np.nan, 4, 5]})
print data3.combine_first(data4) # 相同標(biāo)簽下的內(nèi)容優(yōu)先顯示data3的內(nèi)容，如果某個(gè)數(shù)據(jù)缺失，就用另外一個(gè)數(shù)據(jù)補(bǔ)上

"""
 數(shù)據(jù)重塑和軸向旋轉(zhuǎn)
 數(shù)據(jù)重塑：reshape()
 軸向旋轉(zhuǎn)：unstack(),stack()
"""
data = pd.DataFrame(np.arange(12).reshape(3, 4), columns=['a', 'b', 'c', 'd'], index=['wang', 'li', 'zhang'])
print data
print data.unstack() # 軸向旋轉(zhuǎn)
print '---------------------------------'

"""
 數(shù)據(jù)轉(zhuǎn)換
"""
data = pd.DataFrame({'a': [1, 3, 3, 4], 'b': [1, 3, 3, 5]})
print data
print data.duplicated() # 判斷是否重復(fù)行
print data.drop_duplicates() # 去除重復(fù)行

"""
 替換值
"""
data = pd.DataFrame({'a': [1, 3, 3, 4], 'b': [1, 3, 3, 5]})
print data.replace(1, 2) # 凡是數(shù)據(jù)1，全部替換成數(shù)據(jù)2
print data.replace([1, 4], np.nan) # 凡是數(shù)據(jù)1，4，全部替換成np.nan

"""
 數(shù)據(jù)分段
"""
data = [11, 15, 18, 20, 25, 26, 27, 24]
bins = [15, 20, 25]
print data
print pd.cut(data, bins)