为什么以下项目失败？为什么使用“latin-1”编解码器会成功？
o = "a test of \xe9 char" #I want this to remain a string as this is what I am receiving
v = o.decode("utf-8")
结果是：
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "C:\Python27\lib\encodings\utf_8.py",
line 16, in decode
return codecs.utf_8_decode(input, errors, True) UnicodeDecodeError:
'utf8' codec can't decode byte 0xe9 in position 10: invalid continuation byte
当我尝试通过 pandas.read_csv 方法打开 CSV 文件时，我遇到了同样的错误。
解决方案是将编码更改为 latin-1：
pd.read_csv('ml-100k/u.item', sep='|', names=m_cols , encoding='latin-1')
在二进制中，0xE9 看起来像 1110 1001。如果您阅读有关 UTF-8 on Wikipedia 的内容，您会发现这样的字节后面必须跟两个 10xx xxxx 形式的字节。因此，例如：
>>> b'\xe9\x80\x80'.decode('utf-8')
u'\u9000'
但这只是异常的机械原因。在这种情况下，您有一个几乎可以肯定是以 latin 1 编码的字符串。您可以看到 UTF-8 和 latin 1 看起来有何不同：
>>> u'\xe9'.encode('utf-8')
b'\xc3\xa9'
>>> u'\xe9'.encode('latin-1')
b'\xe9'
（注意，我在这里混合使用了 Python 2 和 3 表示形式。输入在任何版本的 Python 中都有效，但您的 Python 解释器实际上不太可能以这种方式同时显示 unicode 和字节字符串。）
.encode(latin-1) 时出现 UnicodeEncodeError: 'ascii' codec can't encode characters in position 2-3: ordinal not in range(128) 错误
它是无效的 UTF-8。该字符是 ISO-Latin1 中的 e-acute 字符，这就是它成功使用该代码集的原因。
如果您不知道接收字符串的代码集，您就会遇到一些麻烦。最好为您的协议/应用程序选择一个代码集（希望是 UTF-8），然后您就拒绝那些没有解码的代码集。
如果你不能做到这一点，你将需要启发式方法。
因为 UTF-8 是多字节的，并且没有与您的 \xe9 加上以下空格的组合相对应的字符。
为什么它应该在 utf-8 和 latin-1 中都成功？
这里应该如何在 utf-8 中使用相同的句子：
>>> o.decode('latin-1').encode("utf-8")
'a test of \xc3\xa9 char'
如果在操作刚刚打开的文件时出现此错误，请检查您是否以 'rb' 模式打开它
soup = BeautifulSoup(open('webpage.html', 'rb'), 'html.parser')
使用这个，如果它显示 UTF-8 的错误
pd.read_csv('File_name.csv',encoding='latin-1')
当数值范围超过 0 到 127 时，通常会出现 utf-8 代码错误。
引发此异常的原因是：
1）如果code point < 128，则每个字节与code point的值相同。 2) 如果码位为 128 或更大，则 Unicode 字符串无法在此编码中表示。 （在这种情况下，Python 会引发 UnicodeEncodeError 异常。）
为了克服这一点，我们有一套编码，使用最广泛的是“Latin-1，也称为 ISO-8859-1”
因此 ISO-8859-1 Unicode 点 0-255 与 Latin-1 值相同，因此转换为这种编码只需将代码点转换为字节值；如果遇到大于 255 的代码点，则无法将字符串编码为 Latin-1
当您尝试加载数据集时发生此异常时，请尝试使用此格式
df=pd.read_csv("top50.csv",encoding='ISO-8859-1')
在语法末尾添加编码技术，然后接受加载数据集。
好吧，当您在 pandas 中输入特定文件或数据时，就会出现这种类型的错误，例如：-
data=pd.read_csv('/kaggle/input/fertilizers-by-product-fao/FertilizersProduct.csv)
然后错误显示如下：- UnicodeDecodeError: 'utf-8' codec can't decode byte 0xf4 in position 1: invalid continuation byte
所以为了避免这种类型的错误，可以通过添加一个参数来删除
data=pd.read_csv('/kaggle/input/fertilizers-by-product-fao/FertilizersProduct.csv', encoding='ISO-8859-1')
这也发生在我身上，当时我正在从 .txt 文件中读取包含希伯来语的文本。
我点击：file -> save as 并将此文件保存为 UTF-8 编码
在这种情况下，我尝试执行一个激活路径/file.sql 的 .py。
我的解决方案是将file.sql的编码修改为“没有BOM的UTF-8”，它可以工作！
你可以用记事本++来做到这一点。
我将留下我的一部分代码。
con = psycopg2.connect(host = sys.argv[1],
port = sys.argv[2],dbname = sys.argv[3],user = sys.argv[4], password = sys.argv[5])
cursor = con.cursor()
sqlfile = open(path, 'r')
TLDR：我建议在切换编码器以消除错误之前深入调查问题的根源。
我在处理大量包含附加 zip 文件的 zip 文件时收到此错误。
我的工作流程如下：
读取 zip 读取子 zip 从子 zip 读取文本
在某些时候，我遇到了上面的编码错误。经过仔细检查，发现一些儿童拉链错误地包含更多拉链。将这些 zip 文件作为文本读取会导致一些时髦的字符表示，我可以用 encoding="latin-1" 使其静音，但这反过来又会导致问题更进一步。由于我使用的是国际数据，因此认为这是一个编码问题并不完全愚蠢（我遇到了 0xc2: Â 的问题），但最终这并不是真正的问题。
解决方案是更改为“UTF-8 sin BOM”
