业务需求
一个几十万条数据的Excel表格,现在需要拼接其中某一列的全部数据为一个字符串,例如下面简短的几行表格数据:
id
code
price
num
11
22
33
44
22
33
44
55
33
44
55
66
44
55
66
77
55
66
77
88
66
77
88
99
现在需要将code的这一列用逗号,拼接为字符串,并且每个单元格数据都用单引号包含,需要拼接成字符串'22','33','44','55','66','77',这样的情况,我们需要怎么处理呢?当然方式有很多……
多行文本批量处理
有的时候,我们会遇到需要同时处理多行文本的情况,很多文本编辑器都支持批量操作多行文本,这里我主要说一下Sublime Text,下面是操作的快捷键,有需要的可以尝试用一下,确实挺方便的。
- 选中需要操作的多行,按下Ctr+Shift+L即可同时编辑这些行
- 鼠标选中文本,反复按CTRL+D即可继续向下同时选中下一个相同的文本进行同时编辑
- 鼠标选中文本,按下Alt+F3即可一次性选择全部的相同文本进行同时编辑
如何节省效率
在工作中,可能会存在一些表格数据处理的情况,比如运营给你一个表格,表格里有类似:订单号呀、产品ID啊、商品SKU等,需要你协助导出这些数据里的明细数据以便他们做分析用,一两次,我们可以快速用上面的方式处理,但是这种方式对于大文本的处理可能会存在卡顿的情况,操作效率较低,如果小文本的话,那么还是很方便的。
如果多次遇到这种情况,是否想要做成一个工具来快速处理呢,也就是,这种批量拼接同样格式的数据,我们可以写一个小工具来实现,即快速又省事,可以大大减少重复的工作消耗。
pandas读取表格数据并处理
这我们使用Python的pandas模块来读取表格指定某列的数据,再按照我们的拼接格式进行循环处理,最终把拼接的字符串写入文本文件中,方便保留和使用拼接的数据。
sheet = pandas.read_excel(io=file_name, usecols=[line_num]) data = sheet.values.tolist() str_data = '' # 循环处理数据 print_msg('已获取列数据条数[' + str(len(data)) + '],开始处理数据……') for x in range(len(data)): if str(data[x][0]) != 'nan': str_data += "'" + str(data[x][0]) + "',"
完整源码
因为脚本需要多次使用,并且针对不同文件的不同列,所以,我们采用接受关键参数的形式,可以不改动任何代码,就可以直接使用此脚本来完整我们的数据拼接,同时,我们还可以使用pyinstaller模块来将脚本进行打包成exe的window可执行文件,使其在无Python的运行环境中也可以使用,打包命令为:pyinstaller -F -i favicon.ico join_excel_data.py
,我已有打包的上传到交友网站Github上,大家有兴趣的话,可以点击查看哦,交个朋友地址:github.com/gxcuizy
#!/usr/bin/env python # -*- coding: utf-8 -*- """ 拼接Excel表格单行数据,并写入文本 author: gxcuizy time: 2021-03-01 """ import pandas import random import os import time def print_msg(msg=''): """打印信息""" now_time = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime()) print('[' + now_time + '] ' + msg) # 程序主入口 if __name__ == "__main__": # 获取传入参数 file_name = input('请输入当前目录下的表格文件名(例如“01.xlsx”):') line_num = input('请输入要拼装的数据第几列(例如“1”):') # 判断文件是否存在 if os.path.exists(file_name) == False: print_msg('文件不存在') os.system("pause") exit(0) # 判断输入的行数是否为数字 if line_num.isdigit() == False: print_msg('请输入列数的数字') os.system("pause") exit(0) try: # 获取表格数据 print_msg('开始获取文件[' + file_name + ']的第[' + str(line_num) + ']列数据') line_num = int(line_num) - 1 sheet = pandas.read_excel(io=file_name, usecols=[line_num]) data = sheet.values.tolist() str_data = '' # 循环处理数据 print_msg('已获取列数据条数[' + str(len(data)) + '],开始处理数据……') for x in range(len(data)): if str(data[x][0]) != 'nan': str_data += "'" + str(data[x][0]) + "'," # 写入文本文件 print_msg('数据处理完毕,开始写入……') random_num = random.randint(1000, 9999) with open('str_' + str(random_num) + '.txt', 'w') as f: f.write(str_data.strip(',')) print_msg('数据写入完毕.') except Exception as err_info: # 异常信息 print_msg(str(err_info)) # 防止exe程序执行结束闪退 os.system("pause")
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
《魔兽世界》大逃杀!60人新游玩模式《强袭风暴》3月21日上线
暴雪近日发布了《魔兽世界》10.2.6 更新内容,新游玩模式《强袭风暴》即将于3月21 日在亚服上线,届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。
艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕,并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时,他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中,玩家将会进入一个全新的海盗主题大逃杀式限时活动,其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场,作为一个独立于主游戏之外的活动,玩家可以用大逃杀的风格来体验《魔兽世界》,不分职业、不分装备(除了你在赛局中捡到的),光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式,玩家在加入海盗主题的预赛大厅区域前,可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹,《巨龙崛起》和《魔兽世界:巫妖王之怒 经典版》的玩家都可以获得奖励。
更新日志
- 凤飞飞《我们的主题曲》飞跃制作[正版原抓WAV+CUE]
- 刘嘉亮《亮情歌2》[WAV+CUE][1G]
- 红馆40·谭咏麟《歌者恋歌浓情30年演唱会》3CD[低速原抓WAV+CUE][1.8G]
- 刘纬武《睡眠宝宝竖琴童谣 吉卜力工作室 白噪音安抚》[320K/MP3][193.25MB]
- 【轻音乐】曼托凡尼乐团《精选辑》2CD.1998[FLAC+CUE整轨]
- 邝美云《心中有爱》1989年香港DMIJP版1MTO东芝首版[WAV+CUE]
- 群星《情叹-发烧女声DSD》天籁女声发烧碟[WAV+CUE]
- 刘纬武《睡眠宝宝竖琴童谣 吉卜力工作室 白噪音安抚》[FLAC/分轨][748.03MB]
- 理想混蛋《Origin Sessions》[320K/MP3][37.47MB]
- 公馆青少年《我其实一点都不酷》[320K/MP3][78.78MB]
- 群星《情叹-发烧男声DSD》最值得珍藏的完美男声[WAV+CUE]
- 群星《国韵飘香·贵妃醉酒HQCD黑胶王》2CD[WAV]
- 卫兰《DAUGHTER》【低速原抓WAV+CUE】
- 公馆青少年《我其实一点都不酷》[FLAC/分轨][398.22MB]
- ZWEI《迟暮的花 (Explicit)》[320K/MP3][57.16MB]