平时使用中经常用到去除文本中的重复行问题，最近开始接触Python，使用Python实现脚本效果如下

python代码

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# 去除文本中的重复行
import sys  
def filedelrepeat(filename):
	try:
		file=open(filename,'r')
		links=file.readlines()
		file.close()
		lines=set()
		for link in links:
			lines.add(link)
		print u'文件名: ' + filename
		print u'原有行：' + str(len(links))
		file=open(filename,'w')
		for line in lines:
			file.write(line)
		file.close()
		print u'剩余行: ' + str(len(lines))
	except Exception,e:
		print str(e)
if len(sys.argv)>1:
	filename=sys.argv[1]
else:
	filename='repeat.txt'
filedelrepeat(filename)

下载地址

http://files.secflag.com/script/delrepeat.py