python rowcount（如何用python最快的获取大文件的最后几行）

本文目录

• 如何用python最快的获取大文件的最后几行
• 如何用python操作数据库表
• Python批量插入问题
• python怎么处理mysql dmp文件

如何用python最快的获取大文件的最后几行

工作中经常会遇到处理日志文件的问题：为了得到日志的最新状态，我们需要获取日志文件的最后部分行来做判断。那么，这种情况下我们应该怎么做呢？1）常规方法：从前往后依次读取步骤：open打开日志文件。读取文件，获取文件的总行数。遍历所有行，提取指定行的数据。优点：简单，方便缺点：当文件大了以后时间太慢，无法忍受2）推荐方法：步骤：open打开日志文件。移动文件读取指针到文件末尾。从后往前移动指针直到合适的位置。读取文件，提取指定行的数据。优点：时间相对固定，适合处理大文件示例： view plain copylogFile = open(’logFilePath.log’, ’r’) logFile.seek(0,2) logFile.seek(-1000000,2) rowCount = 0 for row in logFile.readlines(): pass seek():移动文件读取指针到指定位置tell():返回文件读取指针的位置seek()的三种模式：（1）f.seek(p,0) 移动当文件第p个字节处，绝对位置（2）f.seek(p,1) 移动到相对于当前位置之后的p个字节（3）f.seek(p,2) 移动到相对文章尾之后的p个字节

如何用python操作数据库表

# -*- coding:utf8 -*-import MySQLdbconn = MySQLdb.connect(                        #此处连接数据库信息host = ’127.0.0.1’,port = 3306,user = ’root’,passwd = ’root’,db = ’python’,charset = ’utf8’)key1 = raw_input()value2 = raw_input()cursor = conn.cursor()try:#cursor.execute(’SELECT * from test’)  # 查询数据库内容#print cursor.rowcount    #输出改变行数cursor.execute("insert into test (’key1’) values (value2)")  # 增加数据库内容#cursor.execute("update test set name = ’lisi’ where name = ’zhangsan’")   # 更新数据库内容#cursor.execute("delete from test where name = ’lisi’")  #删除数据库内容conn.commit()except Exception as e:# 执行出错回滚数据print econn.rollback()cursor.closeconn.close

Python批量插入问题

s = 10000list = c=0sql = """insert into customer(id,name,company_id,sharding_id) values(:col1,:col2,:col3,:col4)"""for k in range(0,12): i = 2000000 + k; list.append() #list1.append() if c == 10: cursor = conn.cursor() #print list cursor.executemany(sql,list) conn.commit() c = 0 print("insert into customer many data cursor:"+str(i)) list= c = c + 1 if s==10000: s = 10010 elif s==10010: s = 10020 elif s== 10020: s = 10030 elif s==10030: s = 10000if i》0: cursor.executemany(sql,list) conn.commit()程序调试通过,改了 2个地方 1.sql = """insert into customer(id,name,company_id,sharding_id) values(:col1,:col2,:col3,:col4)"""2.list.clear()---》list=

python怎么处理mysql dmp文件

在Windows平台上安装mysql模块用于Python开发

用python连接mysql的时候，需要用的安装版本，源码版本容易有错误提示。下边是打包了32与64版本。 MySQL-python-1.2.3.win32-py2.7.exe MySQL-python-1.2.3.win-amd64-py2.7.exe实例 1、取得 MYSQL 的版本

# -*- coding: UTF-8 -*-#安装 MYSQL DB for pythonimport MySQLdb as mdbcon = Nonetry:#连接 mysql 的方法： connect(’ip’,’user’,’password’,’dbname’)con = mdb.connect(’localhost’, ’root’,’root’, ’test’);#所有的查询，都在连接 con 的一个模块 cursor 上面运行的cur = con.cursor()#执行一个查询cur.execute("SELECT VERSION()")#取得上个查询的结果，是单个结果data = cur.fetchone()print "Database version : %s " % datafinally:if con:#无论如何，连接记得关闭con.close()

实例 2、创建一个表并且插入数据

import MySQLdb as mdbimport sys#将 con 设定为全局连接con = mdb.connect(’localhost’, ’root’, ’root’, ’test’);with con:#获取连接的 cursor，只有获取了 cursor，我们才能进行各种操作cur = con.cursor()#创建一个数据表 writers(id,name)cur.execute("CREATE TABLE IF NOT EXISTS \Writers(Id INT PRIMARY KEY AUTO_INCREMENT, Name VARCHAR(25))")#以下插入了 5 条数据cur.execute("INSERT INTO Writers(Name) VALUES(’Jack London’)")cur.execute("INSERT INTO Writers(Name) VALUES(’Honore de Balzac’)")cur.execute("INSERT INTO Writers(Name) VALUES(’Lion Feuchtwanger’)")cur.execute("INSERT INTO Writers(Name) VALUES(’Emile Zola’)")cur.execute("INSERT INTO Writers(Name) VALUES(’Truman Capote’)")

实例 3、 python 使用 slect 获取 mysql 的数据并遍历

import MySQLdb as mdbimport sys#连接 mysql，获取连接的对象con = mdb.connect(’localhost’, ’root’, ’root’, ’test’);with con:#仍然是，第一步要获取连接的 cursor 对象，用于执行查询cur = con.cursor()#类似于其他语言的 query 函数， execute 是 python 中的执行查询函数cur.execute("SELECT * FROM Writers")#使用 fetchall 函数，将结果集（多维元组）存入 rows 里面rows = cur.fetchall()#依次遍历结果集，发现每个元素，就是表中的一条记录，用一个元组来显示for row in rows:print row

运行结果：

(1L, ‘Jack London’)(2L, ‘Honore de Balzac’)(3L, ‘Lion Feuchtwanger’)(4L, ‘Emile Zola’)(5L, ‘Truman Capote’)上面的代码，用来将所有的结果取出，不过打印的时候是每行一个元祖打印，现在我们使用方法，取出其中的单个数据：

import MySQLdb as mdbimport sys#获取 mysql 的链接对象con = mdb.connect(’localhost’, ’root’, ’root’, ’test’);with con:#获取执行查询的对象cur = con.cursor()#执行那个查询，这里用的是 select 语句cur.execute("SELECT * FROM Writers")#使用 cur.rowcount 获取结果集的条数numrows = int(cur.rowcount)#循环 numrows 次，每次取出一行数据for i in range(numrows):#每次取出一行，放到 row 中，这是一个元组(id,name)row = cur.fetchone()#直接输出两个元素print row

运行结果：

1 Jack London2 Honore de Balzac3 Lion Feuchtwanger4 Emile Zola5 Truman Capote实例 4、使用字典 cursor 取得结果集（可以使用表字段名字访问值）

import MySQLdb as mdbimport sys#获得 mysql 查询的链接对象con = mdb.connect(’localhost’, ’root’, ’root’, ’test’)with con:#获取连接上的字典 cursor，注意获取的方法，#每一个 cursor 其实都是 cursor 的子类cur = con.cursor(mdb.cursors.DictCursor)#执行语句不变cur.execute("SELECT * FROM Writers")#获取数据方法不变rows = cur.fetchall()#遍历数据也不变（比上一个更直接一点）for row in rows:#这里，可以使用键值对的方法，由键名字来获取数据print "%s %s" % (row)

实例 5、获取单个表的字段名和信息的方法

import MySQLdb as mdbimport sys#获取数据库的链接对象con = mdb.connect(’localhost’, ’root’, ’root’, ’test’)with con:#获取普通的查询 cursorcur = con.cursor()cur.execute("SELECT * FROM Writers")rows = cur.fetchall()#获取连接对象的描述信息desc = cur.descriptionprint ’cur.description:’,desc#打印表头，就是字段名字print "%s %3s" % (desc)for row in rows:#打印结果print "%2s %3s" % row

运行结果：

cur.description: ((‘Id’, 3, 1, 11, 11, 0, 0), (‘Name’, 253, 17, 25, 25, 0, 1))Id Name1 Jack London2 Honore de Balzac3 Lion Feuchtwanger4 Emile Zola5 Truman Capote实例 6、使用 Prepared statements 执行查询（更安全方便）

import MySQLdb as mdbimport syscon = mdb.connect(’localhost’, ’root’, ’root’, ’test’)with con:cur = con.cursor()#我们看到，这里可以通过写一个可以组装的 sql 语句来进行cur.execute("UPDATE Writers SET Name = %s WHERE Id = %s",("Guy de Maupasant", "4"))#使用 cur.rowcount 获取影响了多少行print "Number of rows updated: %d" % cur.rowcount

结果：Number of rows updated: 1

实例 7、把图片用二进制存入 MYSQL

有人喜欢把图片存入 MYSQL（这种做法貌似很少吧），我看大部分的程序，图片都是存放在服务器上的文件，数据库中存的只是图片的地址而已，不过 MYSQL 是支持把图片存入数据库的，也相应的有一个专门的字段 BLOB (Binary Large Object)，即较大的二进制对象字段，请看如下程序，注意测试图片自己随便找一个，地址要正确： 首先，在数据库中创建一个表，用于存放图片：

复制代码代码如下:

CREATE TABLE Images(Id INT PRIMARY KEY AUTO_INCREMENT, Data MEDIUMBLOB);

然后运行如下 PYTHON 代码进行：

import MySQLdb as mdbimport systry:#用读文件模式打开图片fin = open("../web.jpg")#将文本读入 img 对象中img = fin.read()#关闭文件fin.close()except IOError, e:#如果出错，打印错误信息print "Error %d: %s" % (e.args)sys.exit(1)try:#链接 mysql，获取对象conn = mdb.connect(host=’localhost’,user=’root’,passwd=’root’,db=’test’)#获取执行 cursorcursor = conn.cursor()#直接将数据作为字符串，插入数据库cursor.execute("INSERT INTO Images SET Data=’%s’" %mdb.escape_string(img))#提交数据conn.commit()#提交之后，再关闭 cursor 和链接cursor.close()conn.close()except mdb.Error, e:#若出现异常，打印信息print "Error %d: %s" % (e.args)sys.exit(1)

实例 8、从数据库中把图片读出来

import MySQLdb as mdbimport systry:#连接 mysql，获取连接的对象conn = mdb.connect(’localhost’, ’root’, ’root’, ’test’);cursor = conn.cursor()#执行查询该图片字段的 SQLcursor.execute("SELECT Data FROM Images LIMIT 1")#使用二进制写文件的方法，打开一个图片文件，若不存在则自动创建fout = open(’image.png’,’wb’)#直接将数据如文件fout.write(cursor.fetchone())#关闭写入的文件fout.close()#释放查询数据的资源cursor.close()conn.close()except IOError, e:#捕获 IO 的异常 ，主要是文件写入会发生错误print "Error %d: %s" % (e.args)sys.exit(1)

实例 9、使用 Transaction 即事务（手动提交，自动回滚）

import MySQLdb as mdbimport systry:#连接 mysql，获取连接的对象conn = mdb.connect(’localhost’, ’root’, ’root’, ’test’);cursor = conn.cursor()#如果某个数据库支持事务，会自动开启#这里用的是 MYSQL，所以会自动开启事务（若是 MYISM 引擎则不会）cursor.execute("UPDATE Writers SET Name = %s WHERE Id = %s",("Leo Tolstoy", "1"))cursor.execute("UPDATE Writers SET Name = %s WHERE Id = %s",("Boris Pasternak", "2"))cursor.execute("UPDATE Writer SET Name = %s WHERE Id = %s",("Leonid Leonov", "3"))#事务的特性 1、原子性的手动提交conn.commit()cursor.close()conn.close()except mdb.Error, e:#如果出现了错误，那么可以回滚，就是上面的三条语句要么执行，要么都不执行conn.rollback()print "Error %d: %s" % (e.args)

结果： 1、因为不存在 writer 表（ SQL 第三条语句），所以出现错误：Error 1146: Table ‘test.writer’ doesn’t exist 2、出现错误，出发异常处理， 3 条语句的前两条会自动变成了没有执行，结果不变 3、如果本代码放到一个 MyISAM 引擎表，前两句会执行，第三句不会；如果是 INNDB 引擎，则都不会执行。