파이썬 정규표현식 re.sub

 

#특수 문자


.	한 개의 임의의 문자를 나타냅니다. (줄바꿈 문자인 \n는 제외)
?	앞의 문자가 존재할 수도 있고, 존재하지 않을 수도 있습니다. (문자가 0개 또는 1개)
*	앞의 문자가 무한개로 존재할 수도 있고, 존재하지 않을 수도 있습니다. (문자가 0개 이상)
+	앞의 문자가 최소 한 개 이상 존재합니다. (문자가 1개 이상)
^	뒤의 문자로 문자열이 시작됩니다.
$	앞의 문자로 문자열이 끝납니다.
{숫자}	숫자만큼 반복합니다.
{숫자1, 숫자2}	숫자1 이상 숫자2 이하만큼 반복합니다. ?, *, +를 이것으로 대체할 수 있습니다.
{숫자,}	숫자 이상만큼 반복합니다.
[ ]	대괄호 안의 문자들 중 한 개의 문자와 매치합니다. [amk]라고 한다면 a 또는 m 또는 k 중 하나라도 존재하면 매치를 의미합니다. [a-z]와 같이 범위를 지정할 수도 있습니다. [a-zA-Z]는 알파벳 전체를 의미하는 범위이며, 문자열에 알파벳이 존재하면 매치를 의미합니다.
[^문자]	해당 문자를 제외한 문자를 매치합니다.
l	AlB와 같이 쓰이며 A 또는 B의 의미를 가집니다.
정규 표현식 문법에는 역 슬래쉬(\)를 이용하여 자주 쓰이는 문자 규칙들이 있습니다.



#문자 규칙


\	역 슬래쉬 문자 자체를 의미합니다
\d	모든 숫자를 의미합니다. [0-9]와 의미가 동일합니다.
\D	숫자를 제외한 모든 문자를 의미합니다. [^0-9]와 의미가 동일합니다.
\s	공백을 의미합니다. [ \t\n\r\f\v]와 의미가 동일합니다.
\S	공백을 제외한 문자를 의미합니다. [^ \t\n\r\f\v]와 의미가 동일합니다.
\w	문자 또는 숫자를 의미합니다. [a-zA-Z0-9]와 의미가 동일합니다.
\W	문자 또는 숫자가 아닌 문자를 의미합니다. [^a-zA-Z0-9]와 의미가 동일합니다.

 

사용하는 방법

 

[^python] python 이라는 단어를 제외하고 한개

[0-9] 숫자 0부터 9중에 한개만 있을 때 

[0-9]+ 숫자 0부터 9중에 한개이상

(\D\d)+ 이것이 반복적으로 있을 때 ( ) 사용 

 

---

사용 예

38	쭈야	캐스퍼 리뷰 영상중에 제일 전문적인 느낌🤩	17
39	MinChul Kim	1인 캠퍼들의 초가성비카가 되겠네요\n근데 경차로 장거리는 무서운데 ... 어쨌든\...	0
40	Yung9000	이걸 전기차로 만들고 보닛 하부를 적재공간으로 만들면 초대박일 텐데...	14
41	Ahn James	왠지 살짝 랜드로버 디자인이 살짝 비슷하게 녹여져있는 부분들이 귀엽고 맘에드네요 ㅎㅎ	2
42	이성돌	쏘울(디자인) + 베뉴(사이즈) = 느낌적인 느낌	26
43	캉디드	디자인 좋네요^^	6
44	클락	5년 레이터보타다가 3번 사고나서 헐값에 팔고 베뉴로 구입했는데 영업차로 골목주차를...	2
45	1 2	일단 불티나게 팔릴 건 확실하고 레이는 특별한 이유 없으면 나름의 쉐어를 확고하게 ...	93
46	오팔이	근데 진짜 현기는 다양하게 만족도를 느낄수있께 만드는거 같음...	1
47	GD KIM	경차크기를 좋아하는데 뭔가더 실용성있고 맘에 드는듯	1
48	봄날에코스모스	경차살 돈에 조금만 더 얹어서 캐스퍼 사는 것도 나쁘지 않겠다. 개인적으로는 디자인...	0
49	I’m놩	요즘 시대에 잘 맞는 차 같네요	0
50	달빛너머	캐스퍼 정말 잘 만들었다. 레이 모닝 사려던 사람들 다 돌아서겠는데.	47
51	박찬	옵션도 부족한 밴츠를 유독 추천해서(옵션포함되면 몇천추가) 이쁘지는 않은데... 간...	1
52	최수지	레이는 그래도, 그 실용성을 극대화하면서 나온 디자인이 스타일리시한 아이덴티티가 된...	92
53	hans Yoo	가격이 많은 수요를 부를만큼 매력있지는 않을듯 합니다. 이 차의 생산을 담당하는 광...	0

 

데이터 전처리 전

0	캐스퍼 리뷰 영상중에 제일 전문적인 느낌
1	인 캠퍼들의 초가성비카가 되겠네요근데 경차로 장거리는 무서운데 어쨌든경차이기 때문...
2	이걸 전기차로 만들고 보닛 하부를 적재공간으로 만들면 초대박일 텐데
3	왠지 살짝 랜드로버 디자인이 살짝 비슷하게 녹여져있는 부분들이 귀엽고 맘에드네요
4	쏘울디자인 베뉴사이즈 느낌적인 느낌
5	디자인 좋네요
6	년 레이터보타다가 번 사고나서 헐값에 팔고 베뉴로 구입했는데 영업차로 골목주차를 하...
7	일단 불티나게 팔릴 건 확실하고 레이는 특별한 이유 없으면 나름의 쉐어를 확고하게 ...
8	근데 진짜 현기는 다양하게 만족도를 느낄수있께 만드는거 같음
9	경차크기를 좋아하는데 뭔가더 실용성있고 맘에 드는듯
10	경차살 돈에 조금만 더 얹어서 캐스퍼 사는 것도 나쁘지 않겠다 개인적으로는 디자인을...
11	요즘 시대에 잘 맞는 차 같네요
12	캐스퍼 정말 잘 만들었다 레이 모닝 사려던 사람들 다 돌아서겠는데
13	옵션도 부족한 밴츠를 유독 추천해서옵션포함되면 몇천추가 이쁘지는 않은데 간혹 포인트...
14	레이는 그래도 그 실용성을 극대화하면서 나온 디자인이 스타일리시한 아이덴티티가 된 ...
15	가격이 많은 수요를 부를만큼 매력있지는 않을듯 합니다 이 차의 생산을 담당하는 광주...

 

데이터 전처리 후

 

---

코드

import re
re_list = []
for value in reviews:
    # 정규식(일반 문자열 타입)
    review_text = re.sub("[;0-9ㄱ-ㅎㅏ-ㅢ+\()/^!%※\xa0=~:\n\.{2,}]+","",value)
    # 이모티콘 제거 - compile 이용
    only_BMP_pattern = re.compile("["
        u"\U00010000-\U0010FFFF"  #BMP characters 이외
                           "]+", flags=re.UNICODE)
    review_text = re.sub(only_BMP_pattern, '', review_text)# BMP characters만
    # print(review_text)
    
    # 특정 이모티콘은 제거 안됨 : ❤️
    
    
    re_list.append(review_text)

print(len(re_list), len(reviews))

 

 

키워드

파이썬

파이선 데이터 전처리

파이썬 re.sub

파이썬 특수부호 제거

파이선 낱말 제거