如何获得文本数据中三元组的确切频率？

问题描述

我想知道如何获得三元组的确切频率。我认为我使用的功能更多是为了获得“重要性”。有点像频率，但又不一样。

明确地说，三元组是连续的 3 个单词。标点符号不影响三元组，至少我不想。

我对频率的定义是：我想要三元组所在的评论数量，至少一次。

以下是我通过网络抓取获取数据库的方法：

import re
import json
import requests
from requests import get
from bs4 import BeautifulSoup
import pandas as pd
import numpy as np
import datetime
import time
import random


root_url = 'https://fr.trustpilot.com/review/www.gammvert.fr'
urls = [ '{root}?page={i}'.format(root=root_url,i=i) for i in range(1,807) ]

comms = []
notes = []
dates = []

for url in urls: 
    results = requests.get(url)

    time.sleep(20)

    soup = BeautifulSoup(results.text,"html.parser")

    commentary = soup.find_all('section',class_='review__content')

    for container in commentary:

        try:
            comm  = container.find('p',class_ = 'review-content__text').text.strip()

        except:
            comm = container.find('a',class_ = 'link link--large link--dark').text.strip()

        comms.append(comm)

        note = container.find('div',class_ = 'star-rating star-rating--medium').find('img')['alt']
        notes.append(note)

        date_tag = container.div.div.find("div",class_="review-content-header__dates")
        date = json.loads(re.search(r"({.*})",str(date_tag)).group(1))["publishedDate"]

        dates.append(date)

data = pd.DataFrame({
    'comms' : comms,'notes' : notes,'dates' : dates
    })

data['comms'] = data['comms'].str.replace('\n','')

data['dates'] = pd.to_datetime(data['dates']).dt.date
data['dates'] = pd.to_datetime(data['dates'])

data.to_csv('file.csv',sep=';',index=False)

这是我用来获取我的 comms_clean 的函数：

def clean_text(text):
    text = tokenizer.tokenize(text)
    text = nltk.pos_tag(text)
    text = [word for word,pos in text if (pos == 'NN' or pos == 'NNP' or pos == 'NNS' or pos == 'NNPS')
]
    text = [word for word in text if not word in stop_words]
    text = [word for word in text if len(word) > 2]
    final_text = ' '.join( [w for w in text if len(w)>2] ) #remove word with one letter
    return final_text

data['comms_clean'] = data['comms'].apply(lambda x : clean_text(x))

data['month'] = data.dates.dt.strftime('%Y-%m')

这是我的数据库的一些行：

database

这里是我用来获取数据库中trigram频率的函数：

def get_top_n_gram(corpus,ngram_range,n=None):
    vec = CountVectorizer(ngram_range=ngram_range,stop_words = stop_words).fit(corpus)
    bag_of_words = vec.transform(corpus)
    sum_words = bag_of_words.sum(axis=0) 
    words_freq = [(word,sum_words[0,idx]) for word,idx in vec.vocabulary_.items()]
    words_freq =sorted(words_freq,key = lambda x: x[1],reverse=True)
    return words_freq[:n]

def process(corpus):
    corpus = pd.DataFrame(corpus,columns= ['Text','count']).sort_values('count',ascending = True)
    return corpus

这是这行代码的结果：

trigram = get_top_n_gram(data['comms_clean'],(3,3),10)

trigram = process(trigram)
trigram.sort_values('count',ascending=False,inplace=True)

trigram.head(10)

trigram

让我向您展示它似乎不一致但数量很少。我将展示上图的第 6 个三卦：

df = data[data['comms_clean'].str.contains('très bon état',regex=False,case=False,na=False)]

df.shape

(150,5)



df = data[data['comms_clean'].str.contains('rapport qualité prix',na=False)]

df.shape

(148,5)



df = data[data['comms_clean'].str.contains('très bien passé',na=False)]

df.shape

(129,5)

所以用我的函数，我们有：

146
143
114

当我检查其中包含该卦的评论数量时，我得到了：

150
148
129

不是很远，但我有确切的数字。

所以我想知道：如何获得该卦的确切频率？而不是某种重要性。重要性很好，不要误会我的意思，但我也想知道正确的数字。

我试过了：

from nltk.util import ngrams

for i in range(1,16120):
    Counter(ngrams(data['comms_clean'][i].split(),3))

但我找不到如何连接循环中的所有计数器。

谢谢。

编辑：

stop_words = set(stopwords.words('french'))
stop_words.update(("Gamm","gamm"))

tokenizer = nltk.tokenize.RegexpTokenizer(r'\w+')
lemmatizer = french.Defaults.create_lemmatizer()

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）