快捷導(dǎo)航

數(shù)據(jù)清洗之如何用一行Python代碼去掉文本中的各種符號(hào)

更新時(shí)間：2022年11月23日 10:31:16 作者：coder1479

我們?cè)谔幚砦谋镜臅r(shí)候往往需要對(duì)標(biāo)點(diǎn)符號(hào)進(jìn)行處理,下面這篇文章主要給大家介紹了關(guān)于數(shù)據(jù)清洗之如何用一行Python代碼去掉文本中的各種符號(hào)的相關(guān)資料,文中通過實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下

前言

在搜集了很多文本語料之后，會(huì)開始漫長(zhǎng)的數(shù)據(jù)清洗過程，通常要不斷迭代。

1. 問題描述

有些文本數(shù)據(jù)中，會(huì)包含一些特殊符號(hào)。

猜想可能是從某些富文本編輯器中直接粘貼到了網(wǎng)頁。

如果要清除這些特殊符號(hào)，就需要專門的工具。

2. 相關(guān)知識(shí)

Unicode標(biāo)準(zhǔn)把符號(hào)分為四大類，分別是：

縮寫	詳情
[Sc]	Symbol, Currency
[Sk]	Symbol, Modifier
[Sm]	Symbol, Math
[So]	Symbol, Other

一般需要清理掉的符號(hào)會(huì)是So類型的，但還是要根據(jù)自己的數(shù)據(jù)情況具體分析。

3. 解決方案

在數(shù)據(jù)清洗過程中遇到的符號(hào)可能包括：雜項(xiàng)符號(hào)、幾何形狀、箭頭、心形、星形、表情Emoji、貨幣符號(hào)等。

如果以上這些符號(hào)都要?jiǎng)h除，可以用下面的代碼。

text = "".join(ch for ch in text if unicodedata.category(ch)[0]!= 'S')

如果需要單獨(dú)去除某一類，或者希望知道某個(gè)符號(hào)所屬的具體類別，就需要到這個(gè)網(wǎng)站:

https://www.unicode.org/charts/charindex.html

查找對(duì)應(yīng)的符號(hào)類型。

以箭頭符號(hào)為例。

先用Arrow搜索上面的網(wǎng)頁，找到純粹的箭頭項(xiàng)Arrows，對(duì)應(yīng)的文檔是：https://www.unicode.org/charts/PDF/U2190.pdf

找到自己需要的箭頭，并查看對(duì)應(yīng)的名字。

舉例：箭頭

RIGHTWARDS ARROW，然后用python提供的unicodedata標(biāo)準(zhǔn)庫，查找這個(gè)符號(hào)的類別。

unicodedata.lookup('RIGHTWARDS ARROW')
'→'
unicodedata.category('→')
'Sm'

這樣，就知道要查找的箭頭符號(hào)，屬于Sm類別（數(shù)學(xué)符號(hào)）。

舉例：黑色方塊

BLACK SQUARE ■ U+25A0

unicodedata.lookup('BLACK SQUARE')
'■'
unicodedata.category('■')
'So'

舉例：黑色心形

unicodedata.lookup('BLACK HEART SUIT')
'?'
unicodedata.category('?')
'So'

舉例：黑色星形

unicodedata.lookup('BLACK FOUR POINTED STAR')
'?'
unicodedata.category('?')
'So'

如果只需要去除雜項(xiàng)符號(hào)，可以用下面的python代碼。

text = "".join(ch for ch in text if unicodedata.category(ch) != 'So')

另一個(gè)有用的網(wǎng)址：

https://www.fileformat.info/info/unicode/category/index.htm

總結(jié)

到此這篇關(guān)于數(shù)據(jù)清洗之如何用一行Python代碼去掉文本中的各種符號(hào)的文章就介紹到這了,更多相關(guān)Python去掉文本各種符號(hào)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: