Python的詞法分析與語法分析
更新時間:2013年05月18日 11:59:54 作者:
這篇文章主要介紹了Python的詞法分析(Lexical Analysis)與 語法分析(Syntactic Analysis),需要的朋友可以參考下
詞法分析(Lexical Analysis):分析由字符組成的單詞是否合法,如果沒有問題的話,則產(chǎn)生一個單詞流。
語法分析(Syntactic Analysis):分析由單詞組成的句子是否合法,如果沒有問題的話,則產(chǎn)生一個語法樹。
在詞法分析器分析源代碼文本的時候,有一個概念需要明確:
1.物理行:由回車字符序列(在Windows上是CR LF,在Unix上是LF)結(jié)尾的字符序列組成一個物理行。
2.邏輯行:由一個或者多個物理行組成,可以明確地使用反斜杠(\)來連接多個物理行使之成為一個邏輯行;或者,處在圓括號,中括號,花括號內(nèi)的表達(dá)式可以跨越多個物理行,但是被當(dāng)作一個邏輯行。
詞法分析器是面向邏輯行的,也就是說,對于詞法分析器而言,只有邏輯行才算是一行,它只在邏輯行結(jié)束之處才產(chǎn)生NEWLINE這個單詞或者說token。
對于每一處縮進(jìn),不管它有多少個空白字符,詞法分析器只會產(chǎn)生一個INDENT單詞或者說token,代表縮進(jìn)一級,每當(dāng)要退出一級縮進(jìn)的時候,詞法分析器就會產(chǎn)生一個DEDENT單詞或者說token。注意,單詞DEDENT并沒有一個或一組字符與之對應(yīng),它是完全的邏輯概念。
Python使用稍作修改的BNF(巴科斯范式)來表示詞法與語法規(guī)則。
下面重點說一下需要注意的地方,以避免發(fā)生一些低級但是隱蔽的編程錯誤。
1.標(biāo)識符是區(qū)分大小寫的,但是仍然不要僅僅用大小寫不同來區(qū)分兩個變量。
2.不要使用那些在其它編程語言中是關(guān)鍵字的標(biāo)識符作為變量名,因為它們很可能會成為Python的關(guān)鍵字。
3.不要使用Python明確聲明有特殊意義的標(biāo)志符作為變量名(這類變量一般以下劃線開頭),除非明確自己要使用那個特殊含義。
4.不要在Python中使用$和?(字符串中除外),它們不是合法的字符。
5.不要混用Tab和空格來表示縮進(jìn),只使用其中一種,并養(yǎng)成習(xí)慣。
6.整數(shù)字面常量有10,16,8,2幾種表示方法,如果使用16進(jìn)制,請寫0xa或者0Xa;如果使用8進(jìn)制,請寫0o7或者0O7;如果使用2進(jìn)制,請寫0b1或者0B1;總之,不要省略掉那個標(biāo)識進(jìn)制的字母,建議只使用小寫字母。
7.在整數(shù)字面常量后加一個l或者L就形成了一個長整數(shù),建議只使用L,因為小寫l看起來像數(shù)字1.
8.整數(shù)使用32位表示,但是長整數(shù)并不限于多少位表示,在內(nèi)存允許的情況下,它可以表示任意大小的整數(shù),這與C語言等是不一樣的。
9.如果一個整數(shù)字面常量的值超過32位整數(shù)的表示范圍,那么Python會自動將它升級為長整數(shù),但是在早期的Python實現(xiàn)中可能并非如此,因此如果你預(yù)計需要一個很大的整數(shù)值,請明確使用長整數(shù)。
10.浮點數(shù)字面常量只有10進(jìn)制形式。
語法分析(Syntactic Analysis):分析由單詞組成的句子是否合法,如果沒有問題的話,則產(chǎn)生一個語法樹。
在詞法分析器分析源代碼文本的時候,有一個概念需要明確:
1.物理行:由回車字符序列(在Windows上是CR LF,在Unix上是LF)結(jié)尾的字符序列組成一個物理行。
2.邏輯行:由一個或者多個物理行組成,可以明確地使用反斜杠(\)來連接多個物理行使之成為一個邏輯行;或者,處在圓括號,中括號,花括號內(nèi)的表達(dá)式可以跨越多個物理行,但是被當(dāng)作一個邏輯行。
詞法分析器是面向邏輯行的,也就是說,對于詞法分析器而言,只有邏輯行才算是一行,它只在邏輯行結(jié)束之處才產(chǎn)生NEWLINE這個單詞或者說token。
對于每一處縮進(jìn),不管它有多少個空白字符,詞法分析器只會產(chǎn)生一個INDENT單詞或者說token,代表縮進(jìn)一級,每當(dāng)要退出一級縮進(jìn)的時候,詞法分析器就會產(chǎn)生一個DEDENT單詞或者說token。注意,單詞DEDENT并沒有一個或一組字符與之對應(yīng),它是完全的邏輯概念。
Python使用稍作修改的BNF(巴科斯范式)來表示詞法與語法規(guī)則。
下面重點說一下需要注意的地方,以避免發(fā)生一些低級但是隱蔽的編程錯誤。
1.標(biāo)識符是區(qū)分大小寫的,但是仍然不要僅僅用大小寫不同來區(qū)分兩個變量。
2.不要使用那些在其它編程語言中是關(guān)鍵字的標(biāo)識符作為變量名,因為它們很可能會成為Python的關(guān)鍵字。
3.不要使用Python明確聲明有特殊意義的標(biāo)志符作為變量名(這類變量一般以下劃線開頭),除非明確自己要使用那個特殊含義。
4.不要在Python中使用$和?(字符串中除外),它們不是合法的字符。
5.不要混用Tab和空格來表示縮進(jìn),只使用其中一種,并養(yǎng)成習(xí)慣。
6.整數(shù)字面常量有10,16,8,2幾種表示方法,如果使用16進(jìn)制,請寫0xa或者0Xa;如果使用8進(jìn)制,請寫0o7或者0O7;如果使用2進(jìn)制,請寫0b1或者0B1;總之,不要省略掉那個標(biāo)識進(jìn)制的字母,建議只使用小寫字母。
7.在整數(shù)字面常量后加一個l或者L就形成了一個長整數(shù),建議只使用L,因為小寫l看起來像數(shù)字1.
8.整數(shù)使用32位表示,但是長整數(shù)并不限于多少位表示,在內(nèi)存允許的情況下,它可以表示任意大小的整數(shù),這與C語言等是不一樣的。
9.如果一個整數(shù)字面常量的值超過32位整數(shù)的表示范圍,那么Python會自動將它升級為長整數(shù),但是在早期的Python實現(xiàn)中可能并非如此,因此如果你預(yù)計需要一個很大的整數(shù)值,請明確使用長整數(shù)。
10.浮點數(shù)字面常量只有10進(jìn)制形式。
相關(guān)文章
Python中生成一個指定長度的隨機(jī)字符串實現(xiàn)示例
這篇文章主要介紹了Python中生成一個指定長度的隨機(jī)字符串,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-11-11基于Python實現(xiàn)船舶的MMSI的獲取(推薦)
工作中遇到一個需求,需要通過網(wǎng)站查詢船舶名稱得到MMSI碼,網(wǎng)站來自船訊網(wǎng)。這篇文章主要介紹了基于Python實現(xiàn)船舶的MMSI的獲取,需要的朋友可以參考下2019-10-10Python嵌套函數(shù)與nonlocal使用詳細(xì)介紹
這篇文章主要介紹了Python嵌套函數(shù)與nonlocal使用,nonlocal關(guān)鍵字與global關(guān)鍵字有點相似,可以對比著理解。nonlocal關(guān)鍵字只能作用域局部變量,且始終找離當(dāng)前最近的上層局部作用域中的變量2022-09-09