TypeError:需要一个类似字节的对象,而不是“str”
在执行以下 python 代码以将 HTML 表数据保存在 Csv 文件中时出现上述错误。不知道如何获得rideup.pls帮助我。
import csv
import requests
from bs4 import BeautifulSoup
url='http://www.mapsofindia.com/districts-india/'
response=requests.get(url)
html=response.content
soup=BeautifulSoup(html,'html.parser')
table=soup.find('table', attrs={'class':'tableizer-table'})
list_of_rows=[]
for row in table.findAll('tr')[1:]:
list_of_cells=[]
for cell in row.findAll('td'):
list_of_cells.append(cell.text)
list_of_rows.append(list_of_cells)
outfile=open('./immates.csv','wb')
writer=csv.writer(outfile)
writer.writerow(["SNo", "States", "Dist", "Population"])
writer.writerows(list_of_rows)
在最后一行之上。
您使用的是 Python 2 方法而不是 Python 3。
改变:
outfile=open('./immates.csv','wb')
至:
outfile=open('./immates.csv','w')
你会得到一个带有以下输出的文件:
SNo,States,Dist,Population
1,Andhra Pradesh,13,49378776
2,Arunachal Pradesh,16,1382611
3,Assam,27,31169272
4,Bihar,38,103804637
5,Chhattisgarh,19,25540196
6,Goa,2,1457723
7,Gujarat,26,60383628
.....
在 Python 3 中,csv 以文本模式接受输入,而在 Python 2 中,它以二进制模式接受输入。
编辑添加
这是我运行的代码:
url='http://www.mapsofindia.com/districts-india/'
html = urllib.request.urlopen(url).read()
soup = BeautifulSoup(html)
table=soup.find('table', attrs={'class':'tableizer-table'})
list_of_rows=[]
for row in table.findAll('tr')[1:]:
list_of_cells=[]
for cell in row.findAll('td'):
list_of_cells.append(cell.text)
list_of_rows.append(list_of_cells)
outfile = open('./immates.csv','w')
writer=csv.writer(outfile)
writer.writerow(['SNo', 'States', 'Dist', 'Population'])
writer.writerows(list_of_rows)
我对 Python3 有同样的问题。我的代码正在写入 io.BytesIO()
。
替换为 io.StringIO()
已解决。
io.StringIO()
是内存贪婪,对于大文件可能会令人头疼。
只需将 wb 更改为 w
outfile=open('./immates.csv','wb')
至
outfile=open('./immates.csv','w')
您正在以二进制模式打开 csv 文件,它应该是 'w'
import csv
# open csv file in write mode with utf-8 encoding
with open('output.csv','w',encoding='utf-8',newline='')as w:
fieldnames = ["SNo", "States", "Dist", "Population"]
writer = csv.DictWriter(w, fieldnames=fieldnames)
# write list of dicts
writer.writerows(list_of_dicts) #writerow(dict) if write one row at time
file = open('parsed_data.txt', 'w')
for link in soup.findAll('a', attrs={'href': re.compile("^http")}): print (link)
soup_link = str(link)
print (soup_link)
file.write(soup_link)
file.flush()
file.close()
就我而言,我使用 BeautifulSoup 用 Python 3.x 编写了一个 .txt。它有同样的问题。正如@tsduteba 所说,将第一行中的“wb”更改为“w”。
csv
模块一起使用,Python 3open
还应将newline=''
作为参数 [ref]