腳本之家服務器常用軟件

快捷導航

用python + openpyxl處理excel2007文檔思路以及心得

更新時間：2014年07月14日 11:10:04 投稿：hebedich

最近要幫做RA的老姐寫個合并excel工作表的腳本……源數(shù)據(jù)是4000+個excel 工作表，分布在9個xlsm文件里，文件內(nèi)容是中英文混雜的一些數(shù)據(jù)，需要從每張表中提取需要的部分，分門別類合并到多個大的表里。

尋覓工具

確定任務之后第一步就是找個趁手的庫來干活。 Python Excel上列出了xlrd、xlwt、xlutils這幾個包，但是

它們都比較老，xlwt甚至不支持07版以后的excel
它們的文檔不太友好，都可能需要去讀源代碼，而老姐的任務比較緊，加上我當時在期末，沒有這個時間細讀源代碼
再一番搜索后我找到了openpyxl，支持07+的excel，一直有人在維護，文檔清晰易讀，參照Tutorial和API文檔很快就能上手，就是它了~

安裝

這個很容易，直接pip install openpyxl，呵呵呵~

因為我不需要處理圖片，就沒有裝pillow。

一些考慮

源文件大約一個在1~2MB左右，比較小，所以可以直接讀入內(nèi)存處理。
既然是處理excel，何況他們整個組顯然都是win下干活（數(shù)據(jù)都用excel存了= =，商科的人啊……），這個腳本還是在win下做吧
這個任務完全不需要我對現(xiàn)有的文件做修改！囧……我只要讀入、處理、再寫出另一個文件就行了

學習使用

嗯，就是打開cmd，然后用python的shell各種玩這個模塊來上手……（win下沒有裝ipython，囧）

做這個小腳本基本上我只需要import兩個東西

from openpyxl import Workbook
from openpyxl import load_workbook

load_workbook顧名思義是把文件導入到內(nèi)存，Workbook是最基本的一個類，用來在內(nèi)存里創(chuàng)建文件最后寫進磁盤的。

干活

首先我需要導入這個文件

inwb = load_workbook(filename)

得到的就是一個workbook對象

然后我需要創(chuàng)建一個新的文件

outwb = Workbook()

接著在這個新文件里，用create_sheet新建幾個工作表，比如

careerSheet = outwb.create_sheet(0, 'career')

就會從頭部插入一個叫career的工作表（也就是說用法類似python list的insert）

接下來我需要遍歷輸入文件的每個工作表，并且按照表名做一些工作（e.g.如果表名不是數(shù)字，我不需要處理），openpyxl支持用字典一樣的方式通過表名獲取工作表，獲取一個工作簿的表名的方法是get_sheet_names

for sheetName in inwb.get_sheet_names():
  if not sheetName.isdigit():
    continue
  sheet = inwb[sheetName]

得到工作表之后，就是按列和行處理了。openpyxl會根據(jù)工作表里實際有數(shù)據(jù)的區(qū)域來確定行數(shù)和列數(shù)，獲取行和列的方法是sheet.rows和sheet.columns，它們都可以像list一樣用。比如，如果我想跳過數(shù)據(jù)少于2列的表，可以寫

if len(sheet.columns) < 2:
  continue

如果我想獲取這個工作表的前兩列，可以寫

colA, colB = sheet.columns[:2]

除了用columns和rows來得到這個工作表的行列之外，還可以用excel的單元格編碼來獲取一個區(qū)域，比如

cells = sheet['A1':'B20']

有點像excel自己的函數(shù)，可以拉出一塊二維的區(qū)域~

為了方便處理，遇到一個沒有C列的工作表，我要創(chuàng)建一個和A列等長的空的C列出來，那么我可以用sheet.cell這個方法，通過傳入單元格編號和添加空值來創(chuàng)建新列。

alen = len(colA)
for i in range(1, alen + 1):
  sheet.cell('C%s' % (i)).value = None

注意：excel的單元格命名是從1開始的~

上面的代碼也顯示出來了，獲取單元格的值是用cell.value（可以是左值也可以是右值），它的類型可以是字符串、浮點數(shù)、整數(shù)、或者時間（datetime.datetime），excel文件里也會生成對應類型的數(shù)據(jù)。

得到每個單元格的值之后，就可以進行操作了~openpyxl會自動將字符串用unicode編碼，所以字符串都是unicode類型的。

除了逐個逐個單元格用cell.value修改值以外，還可以一行行append到工作表里

sheet.append(strA, dateB, numC)

最后，等新的文件寫好，直接用workbook.save保存就行

outwb.save("test.xlsx")

這個會覆蓋當前已有的文件，甚至你之前讀取到內(nèi)存的那個文件。

一些要注意的地方
如果要在遍歷一列的每個單元格的時候獲取當前單元格的在這個column對象里的下標

for idx, cell in enumerate(colA):
  # do something...

為了防止獲取的數(shù)據(jù)兩端有看不見的空格（excel文件里很常見的坑），記得strip()

如果工作表里的單元格沒有數(shù)據(jù)，openpyxl會讓它的值為None，所以如果要基于單元格的值做處理，不能預先假定它的類型，最好用

if not cell.value
  continue

之類的語句來先行判斷

如果要處理的excel文件里有很多noise，比如當你預期一個單元格是時間的時候，有些表的數(shù)據(jù)可能是字符串，這時候可以用

if isinstance(cell.value, unicode):
  break

之類的語句處理。

win下的cmd似乎不太好設定用utf-8的code page，如果是簡體中文的話可以用936（GBK），print的時候會自動從unicode轉(zhuǎn)換到GBK輸出到終端。

一些幫忙處理中文問題的小函數(shù)
我處理的表有一些超出GBK范圍的字符，當我需要把一些信息print出來監(jiān)控處理進度的時候非常麻煩，好在它們都是可以無視的，我直接用空格替換再print也行，所以加上一些我本來就要替換掉的分隔符，我可以：

# annoying seperators
dot = u'\u00b7'
dash = u'\u2014'
emph = u'\u2022'
dot2 = u'\u2027'

seps = (u'.', dot, dash, emph, dot2)

def get_clean_ch_string(chstring):
  """Remove annoying seperators from the Chinese string.

  Usage:
    cleanstring = get_clean_ch_string(chstring)
  """
  cleanstring = chstring
  for sep in seps:
    cleanstring = cleanstring.replace(sep, u' ')
  return cleanstring

此外我還有一個需求，是把英文名[空格]中文名分成英文姓、英文名、中文姓、中文名。

首先我需要能把英文和中文分割開，我的辦法是用正則匹配，按照常見中英文字符在unicode的范圍來套。匹配英文和中文的正則pattern如下：

# regex pattern matching all ascii characters
asciiPattern = ur'[%s]+' % ''.join(chr(i) for i in range(32, 127))
# regex pattern matching all common Chinese characters and seporators
chinesePattern = ur'[\u4e00-\u9fff. %s]+' % (''.join(seps))

英文就用ASCII可打印字符的范圍替代，常見中文字符的范圍是\u4e00-\u9fff，那個seps是前面提到過的超出GBK范圍的一些字符。除了簡單的分割，我還需要處理只有中文名沒有英文名、只有英文名沒有中文名等情況，判斷邏輯如下：

def split_name(name):
  """Split [English name, Chinese name].

    If one of them is missing, None will be returned instead.
  Usage:
    engName, chName = split_name(name)
  """
  matches = re.match('(%s) (%s)' % (asciiPattern, chinesePattern), name)
  if matches: # English name + Chinese name
    return matches.group(1).strip(), matches.group(2).strip()
  else:
    matches = re.findall('(%s)' % (chinesePattern), name)
    matches = ''.join(matches).strip()
    if matches: # Chinese name only
      return None, matches
    else: # English name only
      matches = re.findall('(%s)' % (asciiPattern), name)
      return ''.join(matches).strip(), None

得到了中文名之后，我需要分割成姓和名，因為任務要求不需要把姓名分割得很明確，我就按照常見的中文名姓名分割方式來分——兩個字or三個字的第一個字是姓，四個字的前兩個字是姓，名字帶分隔符的（少數(shù)民族名字）分隔符前是姓（這里用到了前面的get_clean_ch_string函數(shù)來移除分隔符），名字再長一些又不帶分割符的，假設整個字符串都是名字。（注意英語的first name 指的是名，last name指的是姓，2333）

def split_ch_name(chName):
  """Split the Chinese name into first name and last name.

    * If the name is XY or XYZ, X will be returned as the last name.
    * If the name is WXYZ, WX will be returned as the last name.
    * If the name is ...WXYZ, the whole name will be returned
     as the last name.
    * If the name is ..ABC * XYZ..., the part before the seperator
     will be returned as the last name.
  Usage:
    chFirstName, chLastName = split_ch_name(chName)
  """
  if len(chName) < 4: # XY or XYZ
    chLastName = chName[0]
    chFirstName = chName[1:]
  elif len(chName) == 4: # WXYZ
    chLastName = chName[:2]
    chFirstName = chName[2:]
  else: # longer
    cleanName = get_clean_ch_string(chName)
    nameParts = cleanName.split()
    print u' '.join(nameParts)
    if len(nameParts) < 2: # ...WXYZ
      return None, nameParts[0]
    chLastName, chFirstName = nameParts[:2] # ..ABC * XYZ...
  return chFirstName, chLastName

分割英文名就很簡單了，空格分開，第一部分是名，第二部分是姓，其他情況暫時不管就行。

您可能感興趣的文章: