《python操作.-.pdf》由会员分享,可在线阅读,更多相关《python操作.-.pdf(7页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、精品文档精品文档You are here:Home?计算机?编程?Python 操作 Excel Python 操作 Excel2012-09-01老婆单位有时候有一些很大的 Excel 统计报表需要处理,其中最恶心的是跨表的 JOIN 查询。他们通常采取的做法是,把多个 Excel 工作簿合成一个工作簿的多个表格,然后再跑函数(VLOOKUP 之类)去查。因为用的函数效率很低,在CPU 打满的情况下还要跑几个小时。然后我就看不过去了,我也不懂 Excel,不知道如何优化,但我想用Python+SQLite 总归是能够实现的。于是就尝试了一把,效果还不错,一分钟以内完成统计很轻松,其中大部分时
2、间主要花在读 Excel 内容上。1.Python 操作 Excel 的函数库我主要尝试了 3 种读写 Excel 的方法:1 xlrd,xlwt,xlutils:这三个库的好处是不需要其它支持,在任何操作系统上都可以使用。xlrd 可以读取 .xls,.xlsx 文件,非常好用;但因为 xlwt 不能直接修改 Excel 文档,必须得复制一份然后另存为其它文件,而且据说写复杂格式的 Excel 文件会出现问题,所以我没有选它来写 Excel 文件。2 openpyxl:这个库也是不需要其它支持的,而且据说对 Office 2007 格式支持得更好。遗憾地是,我经过测试,发现它加载 Excel
3、 文件的效率比 xlrd 慢 3 倍以上,内存使用在 10 倍以上,于是就放弃了。3 win32com:Python Win32 扩展,这个库需要运行环境为 Windows+Office 对应版本。由于 Python Win32 扩展只是把 COM 接口包装了一下,可以视为与 VBA 完全相同,不会有读写格式上的问题。尝试了一下用 win32com 读取 Excel 文件,效率还是比 xlrd 慢一些。由于读取效率上 xlrd win32com openpyxl,所以我自然选择了 xlrd 用来读取统计报表;而最终输出的报表格式较复杂,所以选择了 win32com 直接操作Excel 文件。2
4、.Python 里的关系型数据库SQLite 是一个非常轻量级的关系型数据库,很多语言和平台都内置 SQLite 支持,也是 iOS 和 Android 上的默认数据库。Python 的标准库里也包含了sqlite3库,用起来非常方便。精品文档精品文档3.用 xlrd 读取 Excel 并插入数据库样例如果数据量不大,直接用 Python 内部数据结构如 dict,list 就够了。但如果读取的几张表数据量都较大,增加个将数据插入数据库的预处理过程就有很大好处。一是避免每次调试都要进行耗时较长的 Excel 文件载入过程;二是能充分利用数据库的索引和 SQL 语句强大功能进行快速数据分析。#!
5、/usr/bin/python#-*-coding:gbk-*-import xlrd import sqlite3#打开数据库文件device_city_db=sqlite3.connect(device_city.db)cursor=device_city_db.cursor()#建表cursor.execute(DROP TABLE IF EXISTS device_city)cursor.execute(CREATE TABLE device_city(device_id char(16)PRIMARY KEY,city varchar(16)#打开 device 相关输入 Excel
6、 文件device_workbook=xlrd.open_workbook(输入.xlsx)device_sheet=device_workbook.sheet_by_name(设备表 )#逐行读取 device-城市 映射文件,并将指定的列插入数据库for row in range(1,device_sheet.nrows):device_id=device_sheet.cell(row,6).value if len(device_id)16:device_id=device_id0:16 if len(device_id)=0:continuecity=device_sheet.cell
7、(row,10).value#避免插入重复记录cursor.execute(SELECT*FROM device_city WHERE device_id=?,(device_id,)res=cursor.fetchone()if res=None:cursor.execute(INSERT INTO device_city(device_id,city)VALUES(?,?),(device_id,city)else:if res1!=city:精品文档精品文档print%s,%s,%s,%s%(device_id,city,res0,res1)device_city_mit()4.将结果写
8、入 Excel 文件样例使用 win32com 写入 Excel 的时候要注意,一定要记得退出 Excel,否则下次运行会出错。这需要增加异常处理语句,我这里偷了个懒,出了异常后要手动杀死任务管理器中的 excel 进程。至于 win32com 中类的接口,可以从 MSDN 网站查阅。import win32com.client as win32 import os excel=win32.gencache.EnsureDispatch(Excel.Application)excel.Visible=False#貌似这里只能接受全路径workbook=excel.Workbooks.Open(
9、os.path.join(os.getcwd(),输出.xlsx)month_sheet=workbook.Worksheets(1)#计算文件中实际有内容的行数nrows=month_sheet.Range(A65536).End(win32.constants.xlUp).Row#操作 Excel 单元格的值for row in range(5,nrows-4):month_sheet.Cells(row,1).Value+=something#保存工作簿workbook.Save()#退出 Excelexcel.Application.Quit()python 操作 Excel 读写-使
10、用 xlrd一、安装 xlrd模块到 python 官网下载http:/pypi.python.org/pypi/xlrd模块安装,前提是已经安装了python 环境。二、使用介绍1、导入模块import xlrd精品文档精品文档2、打开 Excel 文件读取数据data=xlrd.open_workbook(excelFile.xls)3、使用技巧获取一个工作表table=data.sheets()0#通过索引顺序获取table=data.sheet_by_index(0)#通过索引顺序获取table=data.sheet_by_name(uSheet1)#通过名称获取获取整行和整列的值(数
11、组)table.row_values(i)table.col_values(i)获取行数和列数nrows=table.nrowsncols=table.ncols循环行列表数据for i in range(nrows):print table.row_values(i)单元格cell_A1=table.cell(0,0).valuecell_C4=table.cell(2,3).value使用行列索引cell_A1=table.row(0)0.valuecell_A2=table.col(1)0.value简单的写入精品文档精品文档row=0col=0#类型0 empty,1 string,2
12、 number,3 date,4 boolean,5 error ctype=1value=单元格的值 xf=0#扩展的格式化table.put_cell(row,col,ctype,value,xf)table.cell(0,0)#单元格的值 table.cell(0,0).value#单元格的值 三、Demo 代码Demo 代码其实很简单,就是读取Excel 数据。1#-*-coding:utf-8-*-2 import xdrlib,sys 3 import xlrd 4 def open_excel(file=file.xls):5try:6 data=xlrd.open_workbo
13、ok(file)7return data 8except Exception,e:9print str(e)精品文档精品文档10#根据索引获取 Excel 表格中的数据参数:file:Excel 文件路径colnameindex:表头列名所在行的所以,by_index:表的索引11 def excel_table_byindex(file=file.xls,colnameindex=0,by_index=0):12 data=open_excel(file)13 table=data.sheets()by_index 14 nrows=table.nrows#行数15 ncols=table.
14、ncols#列数16 colnames=table.row_values(colnameindex)#某一行数据17 list=18for rownum in range(1,nrows):1920 row=table.row_values(rownum)21if row:22 app=23for i in range(len(colnames):24 appcolnamesi=rowi 25 list.append(app)26return list 2728#根据名称获取 Excel 表格中的数据参数:file:Excel 文件路径colnameindex:表头列名所在行的所以,by_na
15、me:Sheet1 名称29 def excel_table_byname(file=file.xls,colnameindex=0,by_name=u Sheet1):30 data=open_excel(file)31 table=data.sheet_by_name(by_name)32 nrows=table.nrows#行数33 colnames=table.row_values(colnameindex)#某一行数据34 list=35for rownum in range(1,nrows):36 row=table.row_values(rownum)37if row:38 app=39for i in range(len(colnames):40 appcolnamesi=rowi 41 list.append(app)42return list 4344 def main():45 tables=excel_table_byindex()46for row in tables:47print row 4849 tables=excel_table_byname()50for row in tables:精品文档精品文档51print row 5253 if_name_=_main_:54 main()
限制150内