Python 换行符和多行模式

Python 的正则表达式支持 多行模式，将每行文字分别匹配。然而各种操作系统里，换行符的表示法各不相同，会导致 Python 不能正确使用多行模式。

花式换行符

不同操作系统下， 换行符的表示方法 也不同。主要有以下三种：

操作系统	换行符名称	16 进制值	10 进制值	转义表示
Unix、Linux	LF	0×0A	10	\n
Windows、DOS	CR LF	0×0D 0×0A	13 10	\r \n
Mac	CR	0×0D	13	\r

测试 Python 的表现

如果没有正确识别换行符，就无法按照期望，进入多行模式的匹配模式。准备使用下面的脚本，检验各种换行符下，不同版本Python 能否正确进入多行模式。脚本如下：

import re

s="hello\r\nbye\r\n"
print(re.findall(r"^\w+$",s,re.M))

如果结果是 ['hello', 'bye'] ，说明正确进入了多行模式；而如果结果是 [] , 则说明没有正常进入多行模式。

测试结果

操作系统	转义表示	Python 2.7	Python 3.6
Unix、Linux	\n	[‘hello’, ‘bye’]	[‘hello’, ‘bye’]
Windows、DOS	\r \n	[]	[]
Mac	\r	[]	[]

如何分辨换行符

那么面对传来的字节流，无论是来自文件、网络，如何知道其中的换行符是那种呢？我们需要以将字符串用二进制形式表达。

下面这个脚本可以观察字节流的二进制表示：

s=["hello\n","hello\r\n","hello\r"]
for y in s: print(' '.join(format(ord(x), 'b') for x in y))

得到结果为：

1101000 1100101 1101100 1101100 1101111 1010  #\n
1101000 1100101 1101100 1101100 1101111 1101 1010 #\r\n
1101000 1100101 1101100 1101100 1101111 1101 #\r

如何纠正

那么怎么将换行符调整到 适合 Python 进入多行模式的呢？可以使用 re.sub() 查找替换函数:

print(re.findall(r"^\w+$", re.sub(r"\r","\n",s), re.M))

或者

print(re.findall(r"^\w+$", re.sub(r"\r","",s), re.M))

将所有的 \r 删除或者 替换为 \n ，就能正确识别出换行符。