一、概述
dba在工作中避不开的两个问题,sql使用绑定变量到底会有多少的性能提升?数据库的审计功能如果打开对数据库的性能会产生多大的影响?最近恰好都碰到了,索性做个实验。
- sql使用绑定变量对性能的影响
- 开通数据库审计功能对性能的影响
实验采用的办法很简单,就是通过python读取csv文件,然后将其导入到数据库中,最后统计程序执行完成所需要的时间
二、准备脚本
python脚本dataimporttest.py
# author: yangbao # function: 通过导入csv,测试数据库性能 import cx_Oracle import time # 数据库连接串 DATABASE_URL = 'user/password@ip:1521/servicename' class CsvDataImport: def __init__(self, use_bind): self.csv_name = 'test.csv' self.use_bind = use_bind if use_bind == 1: self.insert_sql = "insert into testtb values(:0, " "to_date(:1,'yyyy-mm-dd hh24:mi:ss'), " "to_date(:2,'yyyy-mm-dd hh24:mi:ss'), " ":3, :4, :5, :6, :7, :8, :9, :10, :11, :12, :13, :14, " ":15, :16, :17, :18, :19, :20, :21)" # 使用绑定变量的sql else: self.insert_sql = "insert into testtb values({0}, " "to_date('{1}','yyyy-mm-dd hh24:mi:ss'), " "to_date('{2}','yyyy-mm-dd hh24:mi:ss'), " "{3}, {4}, '{5}', {6}, '{7}', {8}, {9}, {10}, {11}, {12}, {13}, {14}, " "{15}, {16}, {17}, {18}, {19}, {20}, {21})" # 不使用绑定变量的sql def data_import(self): begin_time = time.perf_counter() try: conn = cx_Oracle.connect(DATABASE_URL) curs = conn.cursor() with open(self.csv_name) as f: csv_contents = f.readlines() import_rows = 0 message = '{} start to import'.format(self.csv_name) print(message) for line, csv_content in enumerate(csv_contents[1:]): data = csv_content.split(',') if self.use_bind == 1: data = map(lambda x: None if x == '' else x, data) else: data = map(lambda x: 'null' if x == '' else x, data) data = list(data) data[-1] = data[-1].replace('\n', '') if self.use_bind == 1: curs.execute(self.insert_sql, data) # 使用绑定变量的方式插入数据 else: # print(self.insert_sql.format(*data)) curs.execute(self.insert_sql.format(*data)) # 使用非绑定变量的方式插入数据 import_rows += 1 if import_rows % 10000 == 0: curs.execute('commit') message = '{} has imported {} lines'.format(self.csv_name, import_rows) print(message) conn.commit() curs.close() conn.close() end_time = time.perf_counter() elapsed = round(end_time - begin_time, 2) message = '{}, import rows: {}, use_bind: {}, elapsed: {}'.format( self.csv_name, import_rows, self.use_bind, elapsed) print(message) except Exception as e: message = '{} import failed, reason: {}'.format(self.csv_name, str(e)) print(message) if __name__ == '__main__': CsvDataImport(use_bind=1).data_import()
csv文件
test.csv(内容略)
三、测试sql使用绑定变量对性能的影响
a. 使用绑定变量
对库进行重启,目的是清空数据库内的所有缓存,避免对实验结果产生干扰
SQL> startup force; SQL> drop table yang.testtb purge; SQL> create table yang.testtb as select * from yang.test where 1=0;
运行脚本python dataimporttest.py
结果:test.csv, import rows: 227795, use_bind: 1, elapsed: 260.31
b. 不使用绑定变量
对库进行重启
SQL> startup force; SQL> drop table yang.testtb purge; SQL> create table yang.testtb as select * from yang.test where 1=0;
将脚本的最后一行CsvDataImport(use_bind=1).data_import()改为CsvDataImport(use_bind=0).data_import()
运行脚本python dataimporttest.py
结果:test.csv, import rows: 227795, use_bind: 0, elapsed: 662.82
可以看到同样的条件下,程序运行的时间,不使用绑定变量是使用绑定变量的2.54倍
四、测试数据库开启审计功能对性能的影响
查看数据库审计功能是否开启
SQL> show parameter audit NAME TYPE VALUE -------------- ----------- ---------- audit_trail string NONE
统计sys.aud$这张表的行数
SQL> select count(*) from sys.aud$; COUNT(*) ---------- 0
所以可以直接拿第三步中的(a. 使用绑定变量)的结果作为没开通审计功能程序运行的时间
对库开通审计功能,并进行重启
SQL> alter system set audit_trail=db,extended scope=spfile; # 如果设置成db,那么在sys.aud$里面sqltext将为空,也就是说看不到用户执行的sql语句,审计毫无意义 SQL> startup force; SQL> drop table yang.testtb purge; SQL> create table yang.testtb as select * from yang.test where 1=0; SQL> audit insert table by yang; # 开通对用户yang的insert操作审计
将脚本的最后一行CsvDataImport(use_bind=0).data_import()改为CsvDataImport(use_bind=1).data_import()
运行脚本python dataimporttest.py
结果:test.csv, import rows: 227795, use_bind: 1, elapsed: 604.23
与前面使用绑定变量但没有开通数据库审计功能,程序运行的时间,开通数据库审计功能是不开通数据库审计功能的2.32倍
再来看看sys.aud$这张表的大小
SQL> select count(*) from sys.aud$; COUNT(*) ---------- 227798
因sys.aud$这张表中的sqltext与sqlbind都是clob字段,因此需要通过下面的sql去统计该表所占用的空间
SQL> select sum(bytes) from dba_extents where segment_name in ( select distinct name from (select table_name, segment_name from dba_lobs where table_name='AUD$') unpivot(name for i in(table_name, segment_name))); SUM(BYTES) ---------- 369229824
查看testtb这张表占用的空间
SQL> select sum(bytes) from dba_extents where segment_name in ('TESTTB'); SUM(BYTES) ---------- 37748736
可以看到对一个22万行的csv数据导入到数据库,审计的表占用的空间就达到了惊人的360M,而testtb这张表本身也才37M而已
通过上面的实验可以得出,对于数据库的审计功能,开通后会严重拖慢数据库的性能以及消耗system表空间!
五、总结
- 代码中尽量使用绑定变量
- 最好不要开通数据库的审计,可以通过堡垒机去实现对用户操作审计(ps:还请大家推荐个堡垒机厂商,这个才是本文最主要的目的_)
实验存在不严谨的地方,相关对比数据也仅作为参考
以上就是用python对oracle进行简单性能测试的示例的详细内容,更多关于python 对Oracle进行性能测试的资料请关注其它相关文章!
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
《魔兽世界》大逃杀!60人新游玩模式《强袭风暴》3月21日上线
暴雪近日发布了《魔兽世界》10.2.6 更新内容,新游玩模式《强袭风暴》即将于3月21 日在亚服上线,届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。
艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕,并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时,他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中,玩家将会进入一个全新的海盗主题大逃杀式限时活动,其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场,作为一个独立于主游戏之外的活动,玩家可以用大逃杀的风格来体验《魔兽世界》,不分职业、不分装备(除了你在赛局中捡到的),光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式,玩家在加入海盗主题的预赛大厅区域前,可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹,《巨龙崛起》和《魔兽世界:巫妖王之怒 经典版》的玩家都可以获得奖励。
更新日志
- 小骆驼-《草原狼2(蓝光CD)》[原抓WAV+CUE]
- 群星《欢迎来到我身边 电影原声专辑》[320K/MP3][105.02MB]
- 群星《欢迎来到我身边 电影原声专辑》[FLAC/分轨][480.9MB]
- 雷婷《梦里蓝天HQⅡ》 2023头版限量编号低速原抓[WAV+CUE][463M]
- 群星《2024好听新歌42》AI调整音效【WAV分轨】
- 王思雨-《思念陪着鸿雁飞》WAV
- 王思雨《喜马拉雅HQ》头版限量编号[WAV+CUE]
- 李健《无时无刻》[WAV+CUE][590M]
- 陈奕迅《酝酿》[WAV分轨][502M]
- 卓依婷《化蝶》2CD[WAV+CUE][1.1G]
- 群星《吉他王(黑胶CD)》[WAV+CUE]
- 齐秦《穿乐(穿越)》[WAV+CUE]
- 发烧珍品《数位CD音响测试-动向效果(九)》【WAV+CUE】
- 邝美云《邝美云精装歌集》[DSF][1.6G]
- 吕方《爱一回伤一回》[WAV+CUE][454M]