Python数据分析及可视化实例之常规存储txt、csv、xls

发布时间:2021-12-03 公开文章

‘茴’字有三种写法,我只讲一种最简单的!

 

1.TXT读写

# 逐行读文本
f = open("test.txt","r") 
lines = f.readlines() # 读取全部内容 
for line in lines 
    print(line)

作业:open函数还有哪些常用的内建方法

# 逐行续写文本
f = open('test.txt', 'a')    # 其他写入模式,如'w'等
f.write('0123456789\n')  

2.CSV读写

CSV文件写入方式:

# coding:utf-8
import csv
def bs_test(text):
    soup = BeautifulSoup(text, "lxml")
    table_trs = soup.find_all('tr',{'class':'hover'})
    # 摘自前面爬虫案例
    for i in table_trs:
        content=[ i_in.text for i_in  in i.find_all('td')]
        print(content)
        with open('file_name.csv', 'a', newline='') as f:  # 删除空格
            f_csv = csv.writer(f)
            f_csv.writerow(content)
            f.close()

作业:字典(dict)或Json格式的数据写入要用到csv.writer()的方法writerdict()。

# coding: utf-8    
import csv     
csvfile = file('csv_test.csv', 'r')
reader = csv.reader(csvfile)     
for line in reader:
    print(line)
csvfile.close() 

我自己读取CSV一般用Pandas开始做数据清洗了。

3.XLS读写

# 利用库进行读取,注意Office文档前后版本不同,操作Doc文件也是一样的。
import xlrd
workbook = xlrd.open_workbook('E:\yeayee.xlsx')  
booksheet = workbook.sheet_by_name('Sheet1')  
for row in range(booksheet.nrows): 
  print(row)

XLS写入,不太用:

row = 0 
col = 0 
# 类型 0 empty,1 string, 2 number, 3 date, 4 boolean, 5 error
ctype = 1 value = '单元格的值' 
xf = 0 # 扩展的格式化 
table.put_cell(row, col, ctype, value, xf)

4.其他

其他数据格式的存储可以自行搜索,系列教程最重都会用到Pandas清洗保存数据。清洗后的大型数据,则直接入库:MongoDB。