Interactive Clustering: How analyze an annotation project ?¶

Table of contents¶

• I.: Load project and its data
• II.: Analyze clustering evolution
• III.: Explore clustering content
  • III.A.: Choose iteration to analyze
  • III.B.: Select relevant linguistic patterns according to FMC analysis.
  • III.C.: Sum up clustering topics with a Large Language Model
  • III.D.: Display clustering with their summaries and their content highlighted according to FMC analysis

Load Python dependencies.¶

In [1]:

# pip install numpy pandas scipy plotly cognitivefactory_features_maximization_metric openai

# pip install numpy pandas scipy plotly cognitivefactory_features_maximization_metric openai

In [2]:

# Typing.
from typing import List, Dict, Optional

# File and path management.
import os
import json
import pathlib
import pickle

# Data management matrix.
import pandas as pd
from scipy.sparse import csr_matrix

# Interactive clustering functionnalities.
# from cognitivefactory.interactive_clustering.utils.vectorization import vectorize

# Statistics.
import numpy as np
from sklearn import metrics

# FMC analysis.
from sklearn.feature_extraction.text import TfidfVectorizer
from cognitivefactory.features_maximization_metric.fmc import FeaturesMaximizationMetric

# LLM call.
import time
import openai

# Graph display.
import plotly.express as px
import plotly.graph_objects as go
from IPython.display import display, HTML

# Typing. from typing import List, Dict, Optional # File and path management. import os import json import pathlib import pickle # Data management matrix. import pandas as pd from scipy.sparse import csr_matrix # Interactive clustering functionnalities. # from cognitivefactory.interactive_clustering.utils.vectorization import vectorize # Statistics. import numpy as np from sklearn import metrics # FMC analysis. from sklearn.feature_extraction.text import TfidfVectorizer from cognitivefactory.features_maximization_metric.fmc import FeaturesMaximizationMetric # LLM call. import time import openai # Graph display. import plotly.express as px import plotly.graph_objects as go from IPython.display import display, HTML

---

I. Load project and its data¶

Set the path to the project data:¶

In [3]:

PATH_TO_PROJECT_DATA: pathlib.Path = pathlib.Path("./archive-demo-bank-cards-iter-max")

PATH_TO_PROJECT_DATA: pathlib.Path = pathlib.Path("./archive-demo-bank-cards-iter-max")

List accessible files in the project.¶

In [4]:

print(f"Accessible files are: {os.listdir(PATH_TO_PROJECT_DATA)}")

print(f"Accessible files are: {os.listdir(PATH_TO_PROJECT_DATA)}")

Accessible files are: ['clustering.json', 'constraints.json', 'metadata.json', 'modelization.json', 'sampling.json', 'settings.json', 'status.json', 'texts.json', 'vectors_2D.json', 'vectors_3D.json']

Display project metadata (project_id, project_name, ...).¶

It needs the files metadata.json.

In [5]:

hide-input

# Load data in a DataFrame/Series.
with open(PATH_TO_PROJECT_DATA / "metadata.json", "r") as metadata_r:
    project_medatata = json.load(metadata_r)
df_metadata: pd.DataFrame = pd.Series(project_medatata)

# Display loaded data.
df_metadata

# Load data in a DataFrame/Series. with open(PATH_TO_PROJECT_DATA / "metadata.json", "r") as metadata_r: project_medatata = json.load(metadata_r) df_metadata: pd.DataFrame = pd.Series(project_medatata) # Display loaded data. df_metadata

Out[5]:

project_id            archive-demo-bank-cards-iter-max
project_name                         [Demo] Bank cards
creation_timestamp                   1711206849.589537
dtype: object

Display project status (iteration_id, state, task).¶

It needs the files status.json.

In [6]:

# Load data in a DataFrame/Series.
with open(PATH_TO_PROJECT_DATA / "status.json", "r") as status_r:
    project_status = json.load(status_r)
df_status: pd.Series = pd.Series(project_status)

# Display loaded data.
df_status

# Load data in a DataFrame/Series. with open(PATH_TO_PROJECT_DATA / "status.json", "r") as status_r: project_status = json.load(status_r) df_status: pd.Series = pd.Series(project_status) # Display loaded data. df_status

Out[6]:

iteration_id               48
state           ITERATION_END
task                     None
dtype: object

Load texts (text, text_preprocessed, is_deleted, ...).¶

It needs the files texts.json.

In [7]:

# Load data in a DataFrame/Series.
with open(PATH_TO_PROJECT_DATA / "texts.json", "r") as texts_r:
    project_texts = json.load(texts_r)
df_texts: pd.DataFrame = pd.DataFrame.from_dict(project_texts, orient='index')

# Display loaded data.
print(f">> Total number of texts: '{len(df_texts)}'")
print(f">> Number of deleted texts: '{len(df_texts[df_texts['is_deleted']==True])}'")
df_texts.head()

# Load data in a DataFrame/Series. with open(PATH_TO_PROJECT_DATA / "texts.json", "r") as texts_r: project_texts = json.load(texts_r) df_texts: pd.DataFrame = pd.DataFrame.from_dict(project_texts, orient='index') # Display loaded data. print(f">> Total number of texts: '{len(df_texts)}'") print(f">> Number of deleted texts: '{len(df_texts[df_texts['is_deleted']==True])}'") df_texts.head()

>> Total number of texts: '499'
>> Number of deleted texts: '0'

Out[7]:

	text_original	text	text_preprocessed	is_deleted
0	Comment signaler un vol de carte bleue ?	Comment signaler un vol de carte bleue ?	comment signaler un vol de carte bleue	False
1	Comment signaler une perte de carte de paiement ?	Comment signaler une perte de carte de paiement ?	comment signaler une perte de carte de paiement	False
2	J'ai égaré ma carte de crédit !	J'ai égaré ma carte de crédit !	j ai egare ma carte de credit	False
3	J'ai égaré ma carte de paiement.	J'ai égaré ma carte de paiement.	j ai egare ma carte de paiement	False
4	J'ai perdu ma carte bancaire.	J'ai perdu ma carte bancaire.	j ai perdu ma carte bancaire	False

Load annotated constraints (data, constraint_type, to_annotate, is_hidden, to_fix_conflict, ...).¶

It needs the files constraints.json.

In [8]:

# Load data in a DataFrame/Series.
with open(PATH_TO_PROJECT_DATA / "constraints.json", "r") as constraints_r:
    project_constraints = json.load(constraints_r)
df_constraints: pd.DataFrame = pd.DataFrame.from_dict(project_constraints, orient='index')
df_constraints["data_id_1"] = df_constraints.apply(lambda row: row["data"]["id_1"], axis=1)
df_constraints["data_id_2"] = df_constraints.apply(lambda row: row["data"]["id_2"], axis=1)

# Display loaded data.
print(f">> Total number of constraints: '{len(df_constraints)}'")
print(f">> Number of annotated constraints: '{len(df_constraints[(df_constraints['to_annotate']==False) & (df_constraints['is_hidden']==False)])}'")
print(f">> Number of constraints in conflict: '{len(df_constraints[(df_constraints['to_fix_conflict']==True) & (df_constraints['is_hidden']==False)])}'")
df_constraints.head()

# Load data in a DataFrame/Series. with open(PATH_TO_PROJECT_DATA / "constraints.json", "r") as constraints_r: project_constraints = json.load(constraints_r) df_constraints: pd.DataFrame = pd.DataFrame.from_dict(project_constraints, orient='index') df_constraints["data_id_1"] = df_constraints.apply(lambda row: row["data"]["id_1"], axis=1) df_constraints["data_id_2"] = df_constraints.apply(lambda row: row["data"]["id_2"], axis=1) # Display loaded data. print(f">> Total number of constraints: '{len(df_constraints)}'") print(f">> Number of annotated constraints: '{len(df_constraints[(df_constraints['to_annotate']==False) & (df_constraints['is_hidden']==False)])}'") print(f">> Number of constraints in conflict: '{len(df_constraints[(df_constraints['to_fix_conflict']==True) & (df_constraints['is_hidden']==False)])}'") df_constraints.head()

>> Total number of constraints: '2379'
>> Number of annotated constraints: '2379'
>> Number of constraints in conflict: '0'

Out[8]:

	data	constraint_type	constraint_type_previous	is_hidden	to_annotate	to_review	to_fix_conflict	comment	date_of_update	iteration_of_sampling	data_id_1	data_id_2
(400,401)	{'id_1': '400', 'id_2': '401'}	MUST_LINK	[None]	False	False	False	False		1711206980	1	400	401
(37,38)	{'id_1': '37', 'id_2': '38'}	MUST_LINK	[None]	False	False	False	False		1711206990	1	37	38
(423,436)	{'id_1': '423', 'id_2': '436'}	MUST_LINK	[None]	False	False	False	False		1711207000	1	423	436
(229,230)	{'id_1': '229', 'id_2': '230'}	MUST_LINK	[None]	False	False	False	False		1711207010	1	229	230
(10,11)	{'id_1': '10', 'id_2': '11'}	MUST_LINK	[None]	False	False	False	False		1711207020	1	10	11

Load clustering results.¶

It needs the files clustering.json. Result can be NaN if text was deleted.

In [9]:

# Load data in a DataFrame.
with open(PATH_TO_PROJECT_DATA / "clustering.json", "r") as clustering_r:
    project_clustering = json.load(clustering_r)

df_clusterings: pd.DataFrame = pd.DataFrame.from_dict(project_clustering)
df_clusterings.fillna(value=-1, inplace=True)  # fill `NaN` values by `-1`.
df_clusterings = df_clusterings.astype(int).astype(str)  # to `int` to remove float, then to `str` to have categorical values.
df_clusterings.sort_index(key=lambda x: x.astype(int), inplace=True)

# Display loaded data.
print(f">> Number of clustering iterations: '{len(project_clustering)}'")
df_clusterings.head()

# Load data in a DataFrame. with open(PATH_TO_PROJECT_DATA / "clustering.json", "r") as clustering_r: project_clustering = json.load(clustering_r) df_clusterings: pd.DataFrame = pd.DataFrame.from_dict(project_clustering) df_clusterings.fillna(value=-1, inplace=True) # fill `NaN` values by `-1`. df_clusterings = df_clusterings.astype(int).astype(str) # to `int` to remove float, then to `str` to have categorical values. df_clusterings.sort_index(key=lambda x: x.astype(int), inplace=True) # Display loaded data. print(f">> Number of clustering iterations: '{len(project_clustering)}'") df_clusterings.head()

>> Number of clustering iterations: '49'

Out[9]:

	0	1	2	3	4	5	6	7	8	9	...	39	40	41	42	43	44	45	46	47	48
0	1	3	3	3	2	3	4	4	2	1	...	9	9	9	9	9	9	9	9	9	9
1	3	3	3	3	2	3	4	4	2	1	...	9	9	9	9	9	9	9	9	9	9
2	3	1	1	1	1	2	2	2	5	1	...	9	9	9	9	9	9	9	9	9	9
3	3	1	1	1	1	2	2	2	5	1	...	9	9	9	9	9	9	9	9	9	9
4	1	1	1	1	1	2	2	2	5	2	...	9	9	9	9	9	9	9	9	9	9

5 rows × 49 columns

Load vectorial representation.¶

It needs files vectors_2D.json.

In [10]:

# Load data in a DataFrame.
with open(PATH_TO_PROJECT_DATA / "vectors_3D.json", "r") as vectors_3d_r:
    project_vectors_3d = json.load(vectors_3d_r)
df_vectors_3d: pd.DataFrame = pd.DataFrame.from_dict(project_vectors_3d, orient="index")

# Display loaded data.
df_vectors_3d

# Load data in a DataFrame. with open(PATH_TO_PROJECT_DATA / "vectors_3D.json", "r") as vectors_3d_r: project_vectors_3d = json.load(vectors_3d_r) df_vectors_3d: pd.DataFrame = pd.DataFrame.from_dict(project_vectors_3d, orient="index") # Display loaded data. df_vectors_3d

Out[10]:

	x	y	z
0	-42.612156	34.051064	-9.978337
1	-37.619656	38.605362	2.285837
2	11.118752	20.644932	5.942378
3	15.411387	16.566549	6.880816
4	-24.260159	22.722395	20.775551
...	...	...	...
495	39.486561	-42.559635	-6.096722
496	22.253860	-44.178463	-2.633111
497	12.103687	-56.509560	0.959552
498	11.976274	-61.783192	6.321693
499	18.821293	-58.360554	4.166536

499 rows × 3 columns

---

II. Analyze clustering evolution¶

Display evolution of clustering differences.¶

It is computed by 1 - vmeasure(current_clustering, previous_clustering)

In [11]:

# Compute clustering difference score for each iteration.
clustering_differences: Dict[str, float] = {}
for iteration in range(1, int(df_status["iteration_id"])):
    # Get iteration ids.
    current_iteration_id: str = str(iteration)
    previous_iteration_id: str = str(iteration-1)
    # Format clustering results: Get common text ids.
    list_of_common_text_ids: List[str] = [
        text_id
        for text_id in df_clusterings.index
        if (
            df_texts["is_deleted"][text_id] == False
        ) and (
            df_clusterings[previous_iteration_id][text_id] != "-1"
        ) and (
            df_clusterings[current_iteration_id][text_id] != "-1"
        )
    ]
    # Compute scores.
    clustering_differences[current_iteration_id] = 1.0 - metrics.v_measure_score(
        labels_true=df_clusterings[previous_iteration_id][list_of_common_text_ids],
        labels_pred=df_clusterings[current_iteration_id][list_of_common_text_ids],
    )
df_clustering_differences: pd.DataFrame = pd.DataFrame.from_dict(clustering_differences, orient="index", columns=["difference rate"])
df_clustering_differences["iteration"] = df_clustering_differences.index

# Display clustering difference scores.
fig = px.line(
    df_clustering_differences,
    x="iteration",
    y="difference rate",
    markers=True,
    title="<b>Evolution of clustering results differences</b>",
    color_discrete_sequence=["red"],
)
fig.update_layout(yaxis=dict(range=[0.0, 1.0]))
fig

# Compute clustering difference score for each iteration. clustering_differences: Dict[str, float] = {} for iteration in range(1, int(df_status["iteration_id"])): # Get iteration ids. current_iteration_id: str = str(iteration) previous_iteration_id: str = str(iteration-1) # Format clustering results: Get common text ids. list_of_common_text_ids: List[str] = [ text_id for text_id in df_clusterings.index if ( df_texts["is_deleted"][text_id] == False ) and ( df_clusterings[previous_iteration_id][text_id] != "-1" ) and ( df_clusterings[current_iteration_id][text_id] != "-1" ) ] # Compute scores. clustering_differences[current_iteration_id] = 1.0 - metrics.v_measure_score( labels_true=df_clusterings[previous_iteration_id][list_of_common_text_ids], labels_pred=df_clusterings[current_iteration_id][list_of_common_text_ids], ) df_clustering_differences: pd.DataFrame = pd.DataFrame.from_dict(clustering_differences, orient="index", columns=["difference rate"]) df_clustering_differences["iteration"] = df_clustering_differences.index # Display clustering difference scores. fig = px.line( df_clustering_differences, x="iteration", y="difference rate", markers=True, title="Evolution of clustering results differences", color_discrete_sequence=["red"], ) fig.update_layout(yaxis=dict(range=[0.0, 1.0])) fig

Example of clustering difference evolution.

---

III. Explore clustering content¶

III.A. Choose iteration to analyze¶

Define iteration to analyze (Defaults to the latest iteration.)¶

In [12]:

ITERATION_ID: str = str(max(df_clusterings.columns.astype(int)))  # "0"  # str(max(df_clusterings.columns).astype(int))
print(f"Iteration to analyze: {ITERATION_ID}")

ITERATION_ID: str = str(max(df_clusterings.columns.astype(int))) # "0" # str(max(df_clusterings.columns).astype(int)) print(f"Iteration to analyze: {ITERATION_ID}")

Iteration to analyze: 48

Limit clusters to analyze (Defaults to all clusters without garbage.)¶

In [13]:

LIST_OF_CLUSTER_IDS: List[str] = sorted([
    cluster_id
    for cluster_id in df_clusterings[ITERATION_ID].unique()
    if cluster_id != "-1"  # do not analyse garbage clusters.
])
print(f"List of clusters to analyze: {LIST_OF_CLUSTER_IDS}")

LIST_OF_CLUSTER_IDS: List[str] = sorted([ cluster_id for cluster_id in df_clusterings[ITERATION_ID].unique() if cluster_id != "-1" # do not analyse garbage clusters. ]) print(f"List of clusters to analyze: {LIST_OF_CLUSTER_IDS}")

List of clusters to analyze: ['0', '1', '2', '3', '4', '5', '6', '7', '8', '9']

Limit texts to analyze. (Defaults to all texts that are not deleted and that are clustered.)¶

In [14]:

LIST_OF_TEXTS_IDS: pd.Index = (
    (df_texts["is_deleted"]==False)
    & (df_clusterings[ITERATION_ID].isin(LIST_OF_CLUSTER_IDS))
)
print(f"Number of texts to analyze: {sum(LIST_OF_TEXTS_IDS)}")
print(f"List of texts to analyze:\n{LIST_OF_TEXTS_IDS}")

LIST_OF_TEXTS_IDS: pd.Index = ( (df_texts["is_deleted"]==False) & (df_clusterings[ITERATION_ID].isin(LIST_OF_CLUSTER_IDS)) ) print(f"Number of texts to analyze: {sum(LIST_OF_TEXTS_IDS)}") print(f"List of texts to analyze:\n{LIST_OF_TEXTS_IDS}")

Number of texts to analyze: 499
List of texts to analyze:
0      True
1      True
2      True
3      True
4      True
       ... 
495    True
496    True
497    True
498    True
499    True
Length: 499, dtype: bool

III.B. Select relevant linguistic pattern according to FMC analysis¶

FMC means Features Maximization Contrast: it selects the list of linguistic patterns that are the most relevant to represent a cluster and distinguish it from other clusters.

Prepare data for FMC analysis.¶

In [15]:

# Prepare data and filter deleted data.
df_data_for_fmc: pd.DataFrame = pd.DataFrame()
df_data_for_fmc["text_preprocessed"] = df_texts["text_preprocessed"]
df_data_for_fmc["cluster"] = df_clusterings[ITERATION_ID]
df_data_for_fmc = df_data_for_fmc[LIST_OF_TEXTS_IDS]
df_data_for_fmc["text_with_appropriate_highlighting"] = ""  # Initialize as empty.
df_data_for_fmc["text_with_inappropriate_highlighting"] = ""  # Initialize as empty.
df_data_for_fmc

# Prepare data and filter deleted data. df_data_for_fmc: pd.DataFrame = pd.DataFrame() df_data_for_fmc["text_preprocessed"] = df_texts["text_preprocessed"] df_data_for_fmc["cluster"] = df_clusterings[ITERATION_ID] df_data_for_fmc = df_data_for_fmc[LIST_OF_TEXTS_IDS] df_data_for_fmc["text_with_appropriate_highlighting"] = "" # Initialize as empty. df_data_for_fmc["text_with_inappropriate_highlighting"] = "" # Initialize as empty. df_data_for_fmc

Out[15]:

	text_preprocessed	cluster	text_with_appropriate_highlighting	text_with_inappropriate_highlighting
0	comment signaler un vol de carte bleue	9
1	comment signaler une perte de carte de paiement	9
2	j ai egare ma carte de credit	9
3	j ai egare ma carte de paiement	9
4	j ai perdu ma carte bancaire	9
...	...	...	...	...
495	puis je mettre en marche le mode sans contact ...	0
496	puis je obtenir le sans contact sur ma carte	0
497	retirer le paiement sans contact	0
498	supprimer le paiement sans contact	0
499	utiliser le paiement sans contact	0

499 rows × 4 columns

Compute FMC analysis.¶

In [16]:

# Define vectorizer.
vectorizer = TfidfVectorizer(min_df=0.0, ngram_range=(1, 3), analyzer="word", sublinear_tf=True)
matrix_of_vectors: csr_matrix = vectorizer.fit_transform(df_data_for_fmc["text_preprocessed"])
list_of_possible_vectors_features: List[str] = list(vectorizer.get_feature_names_out())

# Define FMC modelization.
fmc_computer: FeaturesMaximizationMetric = FeaturesMaximizationMetric(
    data_vectors=matrix_of_vectors,
    data_classes=df_data_for_fmc["cluster"],
    list_of_possible_features=list_of_possible_vectors_features,
    amplification_factor=1,
)

# Get most active linguistic patterns accoding to FMC for each cluster.
dict_of_cluster_most_active_linguistic_patterns: Dict[str, List[str]] = {
    cluster_id: [
        linguistic_pattern
        for linguistic_pattern in fmc_computer.get_most_active_features_by_a_classe(
            classe=cluster_id,
            activation_only=True,
            sort_by="fmeasure",  # "fmeasure" or "contrast"
            max_number=50,  # number of linguistic patterns to retain.
        )
        if fmc_computer.get_most_activated_classes_by_a_feature(linguistic_pattern) == [cluster_id]
    ]
    for cluster_id in LIST_OF_CLUSTER_IDS
}

# Define vectorizer. vectorizer = TfidfVectorizer(min_df=0.0, ngram_range=(1, 3), analyzer="word", sublinear_tf=True) matrix_of_vectors: csr_matrix = vectorizer.fit_transform(df_data_for_fmc["text_preprocessed"]) list_of_possible_vectors_features: List[str] = list(vectorizer.get_feature_names_out()) # Define FMC modelization. fmc_computer: FeaturesMaximizationMetric = FeaturesMaximizationMetric( data_vectors=matrix_of_vectors, data_classes=df_data_for_fmc["cluster"], list_of_possible_features=list_of_possible_vectors_features, amplification_factor=1, ) # Get most active linguistic patterns accoding to FMC for each cluster. dict_of_cluster_most_active_linguistic_patterns: Dict[str, List[str]] = { cluster_id: [ linguistic_pattern for linguistic_pattern in fmc_computer.get_most_active_features_by_a_classe( classe=cluster_id, activation_only=True, sort_by="fmeasure", # "fmeasure" or "contrast" max_number=50, # number of linguistic patterns to retain. ) if fmc_computer.get_most_activated_classes_by_a_feature(linguistic_pattern) == [cluster_id] ] for cluster_id in LIST_OF_CLUSTER_IDS }

Format clustering content according to FMC analysis.¶

In [17]:

# Define translation of token in text according to FMC activation.
def format_text_according_to_fmc_analysis(text: str, dict_of_translation: Dict[str, str]) -> str:
    """
        In a text, replace all token according to a translation dictionnary.
        
        Args:
            text (str): The text to translate.
            dict_of_translation (Dict[str, str]): The list of translations. Fro exemple, `card` can be translated in `<b>card</b>`.
        
        Return:
            str: The translated text.
    """
    text_tokenized: List[str] = text.split(" ")
    new_text_tokenized: List[str] = []
    cursor: int = 0
    while cursor < len(text_tokenized):
        # Case of relevant trigram.
        trigram: str = " ".join(text_tokenized[cursor:cursor+3])
        if trigram in dict_of_translation.keys():
            new_text_tokenized.append(dict_of_translation[trigram])
            cursor += 3
            continue
        # Case of relevant bigram.
        bigram: str = " ".join(text_tokenized[cursor:cursor+2])
        if bigram in dict_of_translation.keys():
            new_text_tokenized.append(dict_of_translation[bigram])
            cursor += 2
            continue
        # Case of relevant monogram.
        monogram: str = text_tokenized[cursor]
        if monogram in dict_of_translation.keys():
            new_text_tokenized.append(dict_of_translation[monogram])
            cursor += 1
            continue
        # Default case.
        new_text_tokenized.append(monogram)
        cursor += 1
    return " ".join(new_text_tokenized)

# Highlight relevant linguistic patterns for the current cluster that are present.
df_data_for_fmc["text_with_appropriate_highlighting"] = df_data_for_fmc.apply(
    lambda row: format_text_according_to_fmc_analysis(
        text=row["text_preprocessed"],
        dict_of_translation={
            token: f"<i style='color: #00DD00;'>{token}</i>"
            for token in dict_of_cluster_most_active_linguistic_patterns[row["cluster"]]
        }
    ),
    axis=1,
)

# Highlight relevant linguistic patterns for other clusters that are present.
df_data_for_fmc["text_with_inappropriate_highlighting"] = df_data_for_fmc.apply(
    lambda row: format_text_according_to_fmc_analysis(
        text=row["text_preprocessed"],
        dict_of_translation={
            token: f"<i style='color: #DD0000;'>{token}</i>"
            for other_cluster_id in LIST_OF_CLUSTER_IDS
            for token in dict_of_cluster_most_active_linguistic_patterns[other_cluster_id]
            if row["cluster"] != other_cluster_id
        }
    ),
    axis=1,
)

# Define translation of token in text according to FMC activation. def format_text_according_to_fmc_analysis(text: str, dict_of_translation: Dict[str, str]) -> str: """ In a text, replace all token according to a translation dictionnary. Args: text (str): The text to translate. dict_of_translation (Dict[str, str]): The list of translations. Fro exemple, `card` can be translated in `card`. Return: str: The translated text. """ text_tokenized: List[str] = text.split(" ") new_text_tokenized: List[str] = [] cursor: int = 0 while cursor < len(text_tokenized): # Case of relevant trigram. trigram: str = " ".join(text_tokenized[cursor:cursor+3]) if trigram in dict_of_translation.keys(): new_text_tokenized.append(dict_of_translation[trigram]) cursor += 3 continue # Case of relevant bigram. bigram: str = " ".join(text_tokenized[cursor:cursor+2]) if bigram in dict_of_translation.keys(): new_text_tokenized.append(dict_of_translation[bigram]) cursor += 2 continue # Case of relevant monogram. monogram: str = text_tokenized[cursor] if monogram in dict_of_translation.keys(): new_text_tokenized.append(dict_of_translation[monogram]) cursor += 1 continue # Default case. new_text_tokenized.append(monogram) cursor += 1 return " ".join(new_text_tokenized) # Highlight relevant linguistic patterns for the current cluster that are present. df_data_for_fmc["text_with_appropriate_highlighting"] = df_data_for_fmc.apply( lambda row: format_text_according_to_fmc_analysis( text=row["text_preprocessed"], dict_of_translation={ token: f"{token}" for token in dict_of_cluster_most_active_linguistic_patterns[row["cluster"]] } ), axis=1, ) # Highlight relevant linguistic patterns for other clusters that are present. df_data_for_fmc["text_with_inappropriate_highlighting"] = df_data_for_fmc.apply( lambda row: format_text_according_to_fmc_analysis( text=row["text_preprocessed"], dict_of_translation={ token: f"{token}" for other_cluster_id in LIST_OF_CLUSTER_IDS for token in dict_of_cluster_most_active_linguistic_patterns[other_cluster_id] if row["cluster"] != other_cluster_id } ), axis=1, )

III.C. Sum up clustering topics with a Large Language Model¶

To be able to call a model from OpenAI, you need to register and create a token api key on https://platform.openai.com/account/api-keys, then store it in a file named credentials.py near this notebook. The content of this file should look like : OPENAI_API_TOKEN: str = "...".

Prepare data for LLM summary.¶

In [18]:

# Prepare data and filter deleted data.
df_data_for_llm: pd.DataFrame = pd.DataFrame()
df_data_for_llm["text"] = df_texts["text"]
df_data_for_llm["text_formatted"] = df_data_for_llm.apply(lambda row: f"- {row['text']}", axis=1)
df_data_for_llm["cluster"] = df_clusterings[ITERATION_ID]
df_data_for_llm = df_data_for_llm[LIST_OF_TEXTS_IDS]

# Prepare storage of clustering summary.
dict_of_clustering_summary: Dict[str, Optional[str]] = {
    cluster_id: None
    for cluster_id in LIST_OF_CLUSTER_IDS
}

# Prepare data and filter deleted data. df_data_for_llm: pd.DataFrame = pd.DataFrame() df_data_for_llm["text"] = df_texts["text"] df_data_for_llm["text_formatted"] = df_data_for_llm.apply(lambda row: f"- {row['text']}", axis=1) df_data_for_llm["cluster"] = df_clusterings[ITERATION_ID] df_data_for_llm = df_data_for_llm[LIST_OF_TEXTS_IDS] # Prepare storage of clustering summary. dict_of_clustering_summary: Dict[str, Optional[str]] = { cluster_id: None for cluster_id in LIST_OF_CLUSTER_IDS }

Define LLM to call.¶

In [19]:

# Define OpenAI model settings.
import credentials  # The file near this notebook that contains credentials.
openai.api_key = credentials.OPENAI_API_TOKEN  # Given by https://platform.openai.com/account/api-keys.
OPENAI_MODEL: str = "gpt-3.5-turbo"
MAX_RETRY: int = 3  # Retry when timeout.
COOLDOWN_RETRY: int = 21  # # To avoid Error "Rate limit reached" => "default-gpt-3.5-turbo" limited at 3 request per minute.

# Define prompt (adapt according your context).
#PROMPT_SYSTEM: str = """
#Tu es un expert des secteurs banque, assurance et finance.
#Ton objectif est de résumer les thématiques contenues dans les textes suivants.
#Tu répondras en une description concise contenant les informations clées.
#Par exemples: 'Perte et vol de carte bancaire' ou 'Simulation d'un prêt immobilier'.
#"""
PROMPT_SYSTEM: str = """
Tu es un expert du domaine autombile, de la mécanique et de la relation client.
Ton objectif est de résumer les thématiques contenues dans les textes suivants.
Tu répondras en une description concise contenant les informations clées.
Par exemples: 'Réalisation du contrôle technique' ou 'Changement des pneus'.
"""

# Define OpenAI model settings. import credentials # The file near this notebook that contains credentials. openai.api_key = credentials.OPENAI_API_TOKEN # Given by https://platform.openai.com/account/api-keys. OPENAI_MODEL: str = "gpt-3.5-turbo" MAX_RETRY: int = 3 # Retry when timeout. COOLDOWN_RETRY: int = 21 # # To avoid Error "Rate limit reached" => "default-gpt-3.5-turbo" limited at 3 request per minute. # Define prompt (adapt according your context). #PROMPT_SYSTEM: str = """ #Tu es un expert des secteurs banque, assurance et finance. #Ton objectif est de résumer les thématiques contenues dans les textes suivants. #Tu répondras en une description concise contenant les informations clées. #Par exemples: 'Perte et vol de carte bancaire' ou 'Simulation d'un prêt immobilier'. #""" PROMPT_SYSTEM: str = """ Tu es un expert du domaine autombile, de la mécanique et de la relation client. Ton objectif est de résumer les thématiques contenues dans les textes suivants. Tu répondras en une description concise contenant les informations clées. Par exemples: 'Réalisation du contrôle technique' ou 'Changement des pneus'. """

Call LLM for summary.¶

/!\ Set manually the clusters to analyze to avoid additional costs due to LLM call price.

In [20]:

LIST_OF_CLUSTER_IDS_TO_SUM_UP_WITH_AN_LLM: List[str] = []  # LIST_OF_CLUSTER_IDS

LIST_OF_CLUSTER_IDS_TO_SUM_UP_WITH_AN_LLM: List[str] = [] # LIST_OF_CLUSTER_IDS

In [21]:

# Loop on cluster and sum up their topics.
for cluster_id in LIST_OF_CLUSTER_IDS_TO_SUM_UP_WITH_AN_LLM:

    # Call the LLM to summarize the document (use loop to by-pass timeout).
    nb_of_try: int = 0
    last_error: Exception = None
    while nb_of_try<MAX_RETRY:
        time.sleep(21)  # To avoid "Rate limit reached" => "default-gpt-3.5-turbo" limited at 3 request per minute.
        # Try to get a response from the model.
        try : 
            nb_of_try += 1
            # Get model completion.
            chat_answers = openai.ChatCompletion.create(
                model=OPENAI_MODEL,
                messages=[
                    {
                        "role": "system",
                        "content": f"{PROMPT_SYSTEM}"
                    },
                    {
                        "role": "user",
                        "content": "\n".join(df_data_for_llm[df_data_for_llm["cluster"]==cluster_id]["text_formatted"])
                    }
                ]
            )
            break
        # Catch error.
        except Exception as err:
            last_error = err
            continue
    # If error: continue...
    if nb_of_try==MAX_RETRY:
        print(last_error)
        continue
    # Otherwise: store summary.
    dict_of_clustering_summary[cluster_id] = chat_answers.choices[0].message.content

# Loop on cluster and sum up their topics. for cluster_id in LIST_OF_CLUSTER_IDS_TO_SUM_UP_WITH_AN_LLM: # Call the LLM to summarize the document (use loop to by-pass timeout). nb_of_try: int = 0 last_error: Exception = None while nb_of_try "default-gpt-3.5-turbo" limited at 3 request per minute. # Try to get a response from the model. try : nb_of_try += 1 # Get model completion. chat_answers = openai.ChatCompletion.create( model=OPENAI_MODEL, messages=[ { "role": "system", "content": f"{PROMPT_SYSTEM}" }, { "role": "user", "content": "\n".join(df_data_for_llm[df_data_for_llm["cluster"]==cluster_id]["text_formatted"]) } ] ) break # Catch error. except Exception as err: last_error = err continue # If error: continue... if nb_of_try==MAX_RETRY: print(last_error) continue # Otherwise: store summary. dict_of_clustering_summary[cluster_id] = chat_answers.choices[0].message.content

III.D. Display clustering with their summaries and their content highlighted according to FMC analysis¶

Display clustering content in 3D.¶

In [24]:

# Prepare data and filter deleted data.
df_clustering_3d: pd.DataFrame = df_vectors_3d.copy()
df_clustering_3d["cluster"] = df_clusterings[ITERATION_ID]
df_clustering_3d["text"] = df_texts["text"]
df_clustering_3d = df_clustering_3d[LIST_OF_TEXTS_IDS]

# Display clusters.
fig = px.scatter_3d(
    df_clustering_3d, 
    x="x",
    y="y",
    z="z",
    color="cluster",
    hover_name="text",
    title=f"<b>Clustering result at iteration '{ITERATION_ID}'.</b>",
    width=800,
    height=800,
)
fig.update_layout(
    xaxis=dict(range=[min(df_clustering_3d["x"])-1, max(df_clustering_3d["x"])+1]),
    yaxis=dict(range=[min(df_clustering_3d["y"])-1, max(df_clustering_3d["y"])+1]),
)
fig

# Prepare data and filter deleted data. df_clustering_3d: pd.DataFrame = df_vectors_3d.copy() df_clustering_3d["cluster"] = df_clusterings[ITERATION_ID] df_clustering_3d["text"] = df_texts["text"] df_clustering_3d = df_clustering_3d[LIST_OF_TEXTS_IDS] # Display clusters. fig = px.scatter_3d( df_clustering_3d, x="x", y="y", z="z", color="cluster", hover_name="text", title=f"Clustering result at iteration '{ITERATION_ID}'.", width=800, height=800, ) fig.update_layout( xaxis=dict(range=[min(df_clustering_3d["x"])-1, max(df_clustering_3d["x"])+1]), yaxis=dict(range=[min(df_clustering_3d["y"])-1, max(df_clustering_3d["y"])+1]), ) fig

Example of clustering 3D display.

Display clustering content analysis.¶

In [23]:

# Display summary of clusters.
for cluster_id in LIST_OF_CLUSTER_IDS:
	display(HTML(f"""
		<hr>
        <details>
			<summary style="font-weight: bold; font-size: 1.2em;">Display summary of cluster '{cluster_id}':  Length='{len(df_data_for_fmc[df_data_for_fmc["cluster"]==cluster_id])}'  ;  Summary='<i style='color:orange;'>{dict_of_clustering_summary[cluster_id]}</i>'</summary>
			<p style='text-align: justify;'>
				<b>Linguistic patterns:</b>
				<i>{dict_of_cluster_most_active_linguistic_patterns[cluster_id]}</i>
			</p>
			<table>
				<thead>
					<tr>
						<th>Text ID</th>
						<th>Text with appropriate highlighting</th>
						<th>Text with inappropriate highlighting</th>
					</tr>
				</thead>
				<tbody>
					{
						''.join([
							f'''
							<tr>
								<th>{text_id}</th>
								<td>{row["text_with_appropriate_highlighting"]}</td>
								<td>{row["text_with_inappropriate_highlighting"]}</td>
							</tr>
							'''
							for text_id, row in df_data_for_fmc.iterrows()
							if row['cluster'] == cluster_id
						])
					}
				</tbody>
			</table>
		</details>
	"""))

# Display summary of clusters. for cluster_id in LIST_OF_CLUSTER_IDS: display(HTML(f"""

---

Display summary of cluster '{cluster_id}': Length='{len(df_data_for_fmc[df_data_for_fmc["cluster"]==cluster_id])}' ; Summary='{dict_of_clustering_summary[cluster_id]}'

Linguistic patterns: {dict_of_cluster_most_active_linguistic_patterns[cluster_id]}

{ ''.join([ f''' ''' for text_id, row in df_data_for_fmc.iterrows() if row['cluster'] == cluster_id ]) }

Text ID	Text with appropriate highlighting	Text with inappropriate highlighting
{text_id}	{row["text_with_appropriate_highlighting"]}	{row["text_with_inappropriate_highlighting"]}

"""))

---

Display summary of cluster '0': Length='50' ; Summary='None'

Linguistic patterns: ['sans contact', 'contact', 'sans', 'sur ma', 'mode', 'le mode', 'sur ma carte', 'nfc', 'le sans contact', 'le sans', 'nfc sur', 'paiement sans contact', 'paiement sans', 'nfc sur ma', 'sans contact sur', 'contact sur', 'paiement nfc', 'mode sans contact', 'mode sans', 'le mode sans', 'de paiement nfc', 'enlever', 'desactiver le', 'sans contact de', 'contact de ma', 'contact de', 'contact sur ma', 'mode de paiement', 'mode de', 'le mode de', 'le paiement sans', 'enlever le', 'option', 'mode nfc sur', 'mode nfc', 'le mode nfc', 'activer le', 'desactiver le sans']

Text ID	Text with appropriate highlighting	Text with inappropriate highlighting
450	activer le moyen de paiement nfc sur ma carte gold	activer le moyen de paiement nfc sur ma carte gold
451	activer l option nfc sur ma mastercard	activer l option nfc sur ma mastercard
452	activez moi le sans contact s il vous plait	activez moi le sans contact s il vous plait
453	activiation paiement sans contact	activiation paiement sans contact
454	bloquer le mode de paiement nfc	bloquer le mode de paiement nfc
455	comment activer l option paiement sans contact	comment activer l option paiement sans contact
456	comment desactiver le sans contact sur ma mastercard	comment desactiver le sans contact sur ma mastercard
457	comment enlever le mode nfc sur une carte bancaire	comment enlever le mode nfc sur une carte bancaire
458	comment mettre en marche le mode nfc sur ma carte bleue	comment mettre en marche le mode nfc sur ma carte bleue
459	comment savoir si le paiement nfc est active sur ma carte	comment savoir si le paiement nfc est active sur ma carte
460	comment savoir si le sans contact est actif sur ma carte de credit	comment savoir si le sans contact est actif sur ma carte de credit
461	comment supprimer le sans contact de ma carte	comment supprimer le sans contact de ma carte
462	desactiver le nfc sur ma carte	desactiver le nfc sur ma carte
463	desactiver le sans contact sur toutes mes cartes de credit	desactiver le sans contact sur toutes mes cartes de credit
464	enlever le mode sans contact de ma carte	enlever le mode sans contact de ma carte
465	enlever le sans contact	enlever le sans contact
466	enlever l option sans contact	enlever l option sans contact
467	est ce que le mode de paiement nfc est disponible sur ma carte visa	est ce que le mode de paiement nfc est disponible sur ma carte visa
468	est ce que le sans contact est actif sur ma carte bleue	est ce que le sans contact est actif sur ma carte bleue
469	gerer le mode de paiement nfc sur ma carte	gerer le mode de paiement nfc sur ma carte
470	gestion paiement sans contact	gestion paiement sans contact
471	interdire les paiements sans contact	interdire les paiements sans contact
472	j aimerai bloquer le mode sans contact	j aimerai bloquer le mode sans contact
473	j aimerai ne plus utiliser le mode sans contact de ma carte de paiement	j aimerai ne plus utiliser le mode sans contact de ma carte de paiement
474	j aimerais pouvoir desactiver le sans contact de ma carte	j aimerais pouvoir desactiver le sans contact de ma carte
475	je ne veux plus de paiement par nfc s il vous plait merci	je ne veux plus de paiement par nfc s il vous plait merci
476	je ne veux plus pouvoir payer sans entrer le code de ma carte	je ne veux plus pouvoir payer sans entrer le code de ma carte
477	je souhaite activer le mode nfc sur ma carte bleue	je souhaite activer le mode nfc sur ma carte bleue
478	je souhaite desactiver le mode sans contact de ma carte de credit	je souhaite desactiver le mode sans contact de ma carte de credit
479	je souhaite gerer le mode nfc sur mes cartes bancaires	je souhaite gerer le mode nfc sur mes cartes bancaires
480	je souhaite que les paiements par carte bancaire me demande toujours mon code	je souhaite que les paiements par carte bancaire me demande toujours mon code
481	je veux activer le sans contact sur ma carte	je veux activer le sans contact sur ma carte
482	je veux desactiver le sans contact sur ma carte	je veux desactiver le sans contact sur ma carte
483	je voudrai activer le mode de paiement nfc sur ma carte visa	je voudrai activer le mode de paiement nfc sur ma carte visa
484	le mode de paiement nfc ne fonctionne pas sur ma carte	le mode de paiement nfc ne fonctionne pas sur ma carte
485	le sans contact ne fonctionne pas sur ma carte bancaire	le sans contact ne fonctionne pas sur ma carte bancaire
486	l option sans contact ne fonctionne pas sur ma carte	l option sans contact ne fonctionne pas sur ma carte
487	modifier le mode nfc sur ma carte de paiement	modifier le mode nfc sur ma carte de paiement
488	modifier le mode sans contact	modifier le mode sans contact
489	pas de paiement sans contact sur ma visa s il vous plait	pas de paiement sans contact sur ma visa s il vous plait
490	peut on annuler le paiement sans contact	peut on annuler le paiement sans contact
491	peut on gerer le mode sans contact sur l application	peut on gerer le mode sans contact sur l application
492	pourquoi le sans contact de ma carte gold ne fonctionne pas	pourquoi le sans contact de ma carte gold ne fonctionne pas
493	puis je activer le sans contact depuis l application	puis je activer le sans contact depuis l application
494	puis je enlever le mode de paiement nfc sur une carte	puis je enlever le mode de paiement nfc sur une carte
495	puis je mettre en marche le mode sans contact sur ma carte	puis je mettre en marche le mode sans contact sur ma carte
496	puis je obtenir le sans contact sur ma carte	puis je obtenir le sans contact sur ma carte
497	retirer le paiement sans contact	retirer le paiement sans contact
498	supprimer le paiement sans contact	supprimer le paiement sans contact
499	utiliser le paiement sans contact	utiliser le paiement sans contact

---

Display summary of cluster '1': Length='50' ; Summary='None'

Linguistic patterns: ['decouvert', 'de decouvert', 'autorisation de decouvert', 'autorisation de', 'autorisation', 'un decouvert', 'possibilite de decouvert', 'limite de decouvert', 'une autorisation de', 'une autorisation', 'decouvert autorise', 'solde debiteur', 'mon decouvert', 'sa limite de', 'sa limite', 'montant de decouvert', 'decouvert bancaire']

Text ID	Text with appropriate highlighting	Text with inappropriate highlighting
350	ai je la possibilite d avoir un decouvert	ai je la possibilite d avoir un decouvert
351	ai je le droit d avoir un decouvert bancaire	ai je le droit d avoir un decouvert bancaire
352	ai je l obligation d avoir un compte bancaire crediteur	ai je l obligation d avoir un compte bancaire crediteur
353	ai je une autorisation de decouvert	ai je une autorisation de decouvert
354	comment augmenter sa limite de decouvert	comment augmenter sa limite de decouvert
355	comment avoir un plus grand decouvert	comment avoir un plus grand decouvert
356	comment beneficier d un decouvert	comment beneficier d un decouvert
357	comment demander une autorisation de decouvert	comment demander une autorisation de decouvert
358	comment gerer la possibilite de decouvert	comment gerer la possibilite de decouvert
359	comment modifier sa limite de decouvert	comment modifier sa limite de decouvert
360	comment obtenir une autorisation de decouvert	comment obtenir une autorisation de decouvert
361	est ce que j ai un decouvert autorise	est ce que j ai un decouvert autorise
362	est ce que je peux avoir un solde debiteur sur mon compte courant	est ce que je peux avoir un solde debiteur sur mon compte courant
363	est ce que je peux gerer l autorisation de decouvert sur l application	est ce que je peux gerer l autorisation de decouvert sur l application
364	est ce que mon compte courant doit toujours etre crediteur	est ce que mon compte courant doit toujours etre crediteur
365	est il possible d activer la possibilite de decouvert via l application	est il possible d activer la possibilite de decouvert via l application
366	est il possible d augmenter le montant de ma limite de decouvert	est il possible d augmenter le montant de ma limite de decouvert
367	gerer l autorisation de decouvert	gerer l autorisation de decouvert
368	gerer sa limite de decouvert	gerer sa limite de decouvert
369	gerer sa possibilite de decouvert	gerer sa possibilite de decouvert
370	j aimerai avoir une limite de decouvert plus consequente	j aimerai avoir une limite de decouvert plus consequente
371	j aimerai qu on augmente ma limite de decouvert	j aimerai qu on augmente ma limite de decouvert
372	j aimerais savoir ou aller pour voir notre droit au decouvert bancaire	j aimerais savoir ou aller pour voir notre droit au decouvert bancaire
373	je souhaite augmenter ma possibilite de decouvert	je souhaite augmenter ma possibilite de decouvert
374	je souhaite gerer ma possibilite de decouvert s il vous plait	je souhaite gerer ma possibilite de decouvert s il vous plait
375	jusqu a combien peut aller l autorisation de decouvert	jusqu a combien peut aller l autorisation de decouvert
376	jusqu a quel montant un compte peut etre en negatif sans frais supplementaires	jusqu a quel montant un compte peut etre en negatif sans frais supplementaires
377	montant de solde debiteur autorise	montant de solde debiteur autorise
378	ou est mentionne mon autorisation de decouvert	ou est mentionne mon autorisation de decouvert
379	ou est specifie la limite maximale d un compte bancaire en negatif	ou est specifie la limite maximale d un compte bancaire en negatif
380	ou modifier sa possibilite de decouvert	ou modifier sa possibilite de decouvert
381	ou sont specifiees les conditions d un decouvert bancaire	ou sont specifiees les conditions d un decouvert bancaire
382	peut on gerer directement son autorisation de decouvert	peut on gerer directement son autorisation de decouvert
383	peut on moduler une autorisation de decouvert	peut on moduler une autorisation de decouvert
384	puis je annuler mon autorisation de decouvert	puis je annuler mon autorisation de decouvert
385	puis je avoir un solde debiteur	puis je avoir un solde debiteur
386	puis je avoir une autorisation de decouvert	puis je avoir une autorisation de decouvert
387	puis je etre autonome sur la gestion de mes decouverts	puis je etre autonome sur la gestion de mes decouverts
388	puis je modifier le montant de decouvert autorise	puis je modifier le montant de decouvert autorise
389	quel est le montant de decouvert autorise	quel est le montant de decouvert autorise
390	quel est le montant de decouvert possible	quel est le montant de decouvert possible
391	quel est le montant maximum de mon decouvert	quel est le montant maximum de mon decouvert
392	quel est le solde debiteur autorise	quel est le solde debiteur autorise
393	quel est mon decouvert autorise	quel est mon decouvert autorise
394	quelle demarche pour activer la possibilite d un decouvert bancaire	quelle demarche pour activer la possibilite d un decouvert bancaire
395	quelle demarche pour faire une demande de decouvert	quelle demarche pour faire une demande de decouvert
396	quelle est le plafond de mon decouvert autorise	quelle est le plafond de mon decouvert autorise
397	quelle montant de dette puis je avoir sur mon compte courant	quelle montant de dette puis je avoir sur mon compte courant
398	quelle souplesse ai je avec mon decouvert	quelle souplesse ai je avec mon decouvert
399	voulez vous bien m autoriser un decouvert merci d avance	voulez vous bien m autoriser un decouvert merci d avance

---

Display summary of cluster '2': Length='49' ; Summary='None'

Linguistic patterns: ['virtuelle', 'carte virtuelle', 'un numero', 'numero', 'de carte virtuelle', 'un numero de', 'numero de carte', 'numero de', 'numeros', 'creer', 'une carte virtuelle', 'virtuel', 'online', 'numeros de carte', 'numeros de', 'achats', 'un numero virtuel', 'numero virtuel', 'virtuels', 'supprimer un numero', 'supprimer un', 'numeros virtuels', 'carte online', 'mes achats', 'avec un numero', 'avec un', 'activer les', 'des numeros', 'ses numeros', 'ses', 'obtenir un numero', 'obtenir un', 'creer un numero', 'creer un', 'pour mes achats']

Text ID	Text with appropriate highlighting	Text with inappropriate highlighting
300	activer les achats avec un numero virtuel	activer les achats avec un numero virtuel
301	activer les numeros de carte virtuelle	activer les numeros de carte virtuelle
302	ai je le droit de creer des numeros de carte pour des paiements online	ai je le droit de creer des numeros de carte pour des paiements online
303	ai je le droit de creer un numero virtuel	ai je le droit de creer un numero virtuel
304	bonjour comment gerer ses numeros de carte virtuelle	bonjour comment gerer ses numeros de carte virtuelle
305	comment acheter en ligne avec un numero de carte bancaire virtuelle	comment acheter en ligne avec un numero de carte bancaire virtuelle
306	comment activer les paiements virtuels	comment activer les paiements virtuels
307	comment annuler la creation d un numero de carte virtuelle	comment annuler la creation d un numero de carte virtuelle
308	comment consulter ses numeros de carte virtuelle	comment consulter ses numeros de carte virtuelle
309	comment faire pour creer une carte de paiements virtuelle	comment faire pour creer une carte de paiements virtuelle
310	comment gerer une carte virtuelle	comment gerer une carte virtuelle
311	comment obtenir un numero de carte virtuelle	comment obtenir un numero de carte virtuelle
313	comment obtenir une carte virtuelle pour mes achats sur internet	comment obtenir une carte virtuelle pour mes achats sur internet
314	comment supprimer un numero de carte online	comment supprimer un numero de carte online
315	comment supprimer un numero de carte virtuelle	comment supprimer un numero de carte virtuelle
316	comment utiliser un numero de carte virtuelle	comment utiliser un numero de carte virtuelle
317	creer un numero virtuel	creer un numero virtuel
318	creer un numero virtuel pour des achats online	creer un numero virtuel pour des achats online
319	creer un numero virtuel pour mes achats en ligne	creer un numero virtuel pour mes achats en ligne
320	creer une carte bancaire virtuelle	creer une carte bancaire virtuelle
321	debloquer le paiement avec carte virtuelle	debloquer le paiement avec carte virtuelle
322	desactiver les achats avec un numero de carte virtuelle	desactiver les achats avec un numero de carte virtuelle
323	desactiver les numeros virtuels	desactiver les numeros virtuels
324	faire un achat avec un numero de carte online	faire un achat avec un numero de carte online
325	gerer la possibilite d achat avec un numero de carte online	gerer la possibilite d achat avec un numero de carte online
326	gerer la possibilite de payer avec des numeros virtuels	gerer la possibilite de payer avec des numeros virtuels
327	gerer ses numeros virtuels	gerer ses numeros virtuels
328	gestion des cartes online	gestion des cartes online
329	gestion des numeros de carte virtuelle	gestion des numeros de carte virtuelle
330	j aimerai faire mes achats internet avec une carte virtuelle	j aimerai faire mes achats internet avec une carte virtuelle
331	j aimerai obtenir un numero de carte virtuelle	j aimerai obtenir un numero de carte virtuelle
332	j aimerai utiliser une carte virtuelle	j aimerai utiliser une carte virtuelle
333	je desire creer une nouvelle carte virtuelle	je desire creer une nouvelle carte virtuelle
334	je desire utiliser une carte online pour mes achats sur internet	je desire utiliser une carte online pour mes achats sur internet
335	je souhaite obtenir un numero de carte virtuelle	je souhaite obtenir un numero de carte virtuelle
336	je souhaite pouvoir creer des numeros de carte virtuelle	je souhaite pouvoir creer des numeros de carte virtuelle
337	je souhaite utiliser une carte virtuelle pour mes achats	je souhaite utiliser une carte virtuelle pour mes achats
338	obtenir un numero virtuel pour mes achats en ligne	obtenir un numero virtuel pour mes achats en ligne
339	obtenir une carte online	obtenir une carte online
340	obtenir une carte virtuelle	obtenir une carte virtuelle
341	ou peut on gerer ses numeros virtuels	ou peut on gerer ses numeros virtuels
342	ou puis je gerer mes numeros virtuels	ou puis je gerer mes numeros virtuels
343	pouvez vous activer les numeros de carte virtuelle	pouvez vous activer les numeros de carte virtuelle
344	puis je supprimer un numero de carte virtuelle	puis je supprimer un numero de carte virtuelle
345	que faire pour activer une carte bancaire virtuelle	que faire pour activer une carte bancaire virtuelle
346	quelle demarche pour creer des numeros de carte virtuelle	quelle demarche pour creer des numeros de carte virtuelle
347	supprimer un numero de carte virtuel	supprimer un numero de carte virtuel
348	supprimer un numero virtuel	supprimer un numero virtuel
349	supprimer une carte virtuelle	supprimer une carte virtuelle

---

Display summary of cluster '3': Length='50' ; Summary='None'

Linguistic patterns: ['assurance', 'assurance de ma', 'assurance de', 'garanties', 'assurances', 'couvre', 'les garanties', 'quelles assurances', 'les assurances', 'incluses', 'que couvre', 'couvert', 'que ma', 'ce que ma', 'voyage', 'consulter les', 'sont les garanties']

Text ID	Text with appropriate highlighting	Text with inappropriate highlighting
200	ai je une extension de garantie avec ma carte gold pour un achat d eletromenager	ai je une extension de garantie avec ma carte gold pour un achat d eletromenager
201	assurance comprises avec ma carte bancaire pour un voyage a l etranger	assurance comprises avec ma carte bancaire pour un voyage a l etranger
202	carte de credit et garanties d electromenager	carte de credit et garanties d electromenager
203	comment faire valoir l assurance de ma mastercard	comment faire valoir l assurance de ma mastercard
204	comment fonctionne l assurance de ma carte	comment fonctionne l assurance de ma carte
205	comment suis je couvert avec ma carte en cas d accident	comment suis je couvert avec ma carte en cas d accident
206	comment utiliser l assurance de ma carte de credit	comment utiliser l assurance de ma carte de credit
207	consulter les droits d assurance de ma carte	consulter les droits d assurance de ma carte
208	couverture carte bancaire pour la reparation d une television	couverture carte bancaire pour la reparation d une television
209	de quelles couvertures d assurance je dispose avec ma carte gold	de quelles couvertures d assurance je dispose avec ma carte gold
210	est ce que l assurance de ma carte couvre un bris de lunette	est ce que l assurance de ma carte couvre un bris de lunette
211	est ce que l assurance de ma mastercard suffit pour partir en voyage	est ce que l assurance de ma mastercard suffit pour partir en voyage
212	est ce que le rapatriement gratuit est possible avec ma carte visa	est ce que le rapatriement gratuit est possible avec ma carte visa
213	est ce que ma carte assure les locations de voyage	est ce que ma carte assure les locations de voyage
214	est ce que ma carte de credit possede une assurance	est ce que ma carte de credit possede une assurance
215	est ce que ma mastercard couvre une annulation de voyage	est ce que ma mastercard couvre une annulation de voyage
216	est ce que ma mastercard me permet d assurer un achat	est ce que ma mastercard me permet d assurer un achat
217	est ce que mon conjoint est couvert par ma carte de credit	est ce que mon conjoint est couvert par ma carte de credit
218	est ce qu une carte visa possede de meilleures garanties qu une mastercard	est ce qu une carte visa possede de meilleures garanties qu une mastercard
219	est ce qu une chute a ski est couverte par ma carte bleue	est ce qu une chute a ski est couverte par ma carte bleue
220	j aimerai connaitre les assistances offertes avec ma carte s il vous plait	j aimerai connaitre les assistances offertes avec ma carte s il vous plait
221	je souhaite avoir des informations sur les assurances proposees avec ma carte	je souhaite avoir des informations sur les assurances proposees avec ma carte
222	je voudrais connaitre les garanties de ma carte gold	je voudrais connaitre les garanties de ma carte gold
223	le rapatriement est il compris dans l assurance de ma carte	le rapatriement est il compris dans l assurance de ma carte
224	le rapatriement est il couvert par ma carte bancaire	le rapatriement est il couvert par ma carte bancaire
225	ou consulter les assurances de ma carte	ou consulter les assurances de ma carte
226	ou puis je consulter les garnaties incluses avec ma carte	ou puis je consulter les garnaties incluses avec ma carte
227	puis je verifier les garanties incluses avec ma carte de paiement	puis je verifier les garanties incluses avec ma carte de paiement
228	puis je avoir le detail de l assurance liee a ma carte bancaire	puis je avoir le detail de l assurance liee a ma carte bancaire
229	que couvre l assurance d une carte gold	que couvre l assurance d une carte gold
230	que couvre l assurance d une carte visa	que couvre l assurance d une carte visa
231	que couvre ma carte bancaire en cas d hospitalisation	que couvre ma carte bancaire en cas d hospitalisation
232	que m apporte ma carte en matiere de garanties	que m apporte ma carte en matiere de garanties
233	quelle est la demarche pour faire valoir l assurance de ma carte de credit	quelle est la demarche pour faire valoir l assurance de ma carte de credit
234	quelles assurances a l international ma carte bleue me permet elle d avoir	quelles assurances a l international ma carte bleue me permet elle d avoir
235	quelles assurances comporte ma carte bancaire	quelles assurances comporte ma carte bancaire
236	quelles assurances sont fournies avec ma carte bleue	quelles assurances sont fournies avec ma carte bleue
237	quelles assurances sont incluses grace a ma carte bancaire	quelles assurances sont incluses grace a ma carte bancaire
238	quelles sont les assurances disponibles avec ma carte	quelles sont les assurances disponibles avec ma carte
239	quelles sont les assurances incluses avec ma carte bancaire	quelles sont les assurances incluses avec ma carte bancaire
240	quelles sont les garanties de ma carte bleue	quelles sont les garanties de ma carte bleue
241	quelles sont les garanties fournies par une carte bleue en matiere d assurance	quelles sont les garanties fournies par une carte bleue en matiere d assurance
242	quelles sont les garanties prevues avec une carte gold	quelles sont les garanties prevues avec une carte gold
243	quelles sont mes garanties d assurance sur ma carte bleue	quelles sont mes garanties d assurance sur ma carte bleue
244	quels risques sont couverts par l assurance de ma carte	quels risques sont couverts par l assurance de ma carte
245	quels sont les avantages d une carte gold en terme d assurance	quels sont les avantages d une carte gold en terme d assurance
246	suis je assure lors d une chute de ski avec ma carte de paiement	suis je assure lors d une chute de ski avec ma carte de paiement
247	suis je assure pour la location d un vehicule avec ma carte bancaire	suis je assure pour la location d un vehicule avec ma carte bancaire
248	suis je couvert en cas d hospitalisation avec ma carte	suis je couvert en cas d hospitalisation avec ma carte
249	y a t il une protection juridique fournies avec ma carte bancaire	y a t il une protection juridique fournies avec ma carte bancaire

---

Display summary of cluster '4': Length='50' ; Summary='None'

Linguistic patterns: ['reactiver', 'debloquer', 'debloquer ma', 'debloquer ma carte', 'bloquee', 'reactiver sa', 'reactiver ma', 'deverrouiller', 'reactiver sa carte', 'reactiver ma carte', 'comment debloquer', 'deblocage carte', 'deblocage', 'debloquer sa carte', 'debloquer sa', 'reactiver une carte', 'reactiver une', 'carte via application', 'carte via', 'mauvais', 'comment reactiver sa', 'comment reactiver', 'remettre en', 'remettre']

Text ID	Text with appropriate highlighting	Text with inappropriate highlighting
250	apres plusieurs mauvais codes ma carte a ete bloquee	apres plusieurs mauvais codes ma carte a ete bloquee
251	bonjour j ai bloque ma carte et je voudrai la debloquer merci d avance	bonjour j ai bloque ma carte et je voudrai la debloquer merci d avance
252	bonjour pouvez vous debloquer ma carte merci	bonjour pouvez vous debloquer ma carte merci
253	bonjour serait il possible de debloquer ma carte s il vous plait	bonjour serait il possible de debloquer ma carte s il vous plait
254	comment annuler le blocage de ma carte	comment annuler le blocage de ma carte
255	comment debloquer ma mastercard	comment debloquer ma mastercard
256	comment debloquer rapidement une carte de credit	comment debloquer rapidement une carte de credit
257	comment debloquer sa carte bleue	comment debloquer sa carte bleue
258	comment deverrouiller sa carte	comment deverrouiller sa carte
259	comment deverrouiller sa carte bancaire	comment deverrouiller sa carte bancaire
260	comment reactiver sa carte	comment reactiver sa carte
261	comment reactiver sa mastercard	comment reactiver sa mastercard
262	comment remettre en marche ma carte bancaire	comment remettre en marche ma carte bancaire
263	comment reutiliser une carte bancaire bloquee	comment reutiliser une carte bancaire bloquee
264	deblocage carte bancaire	deblocage carte bancaire
265	deblocage carte gold	deblocage carte gold
266	debloquer sa carte apres trois mauvais codes	debloquer sa carte apres trois mauvais codes
267	debloquer sa carte via l application	debloquer sa carte via l application
268	est ce que je peux reactiver seul une carte bloquee	est ce que je peux reactiver seul une carte bloquee
269	est ce que vous pouvez debloquer ma carte de paiement	est ce que vous pouvez debloquer ma carte de paiement
270	est ce qu une carte est deblocable en cas d erreur de code	est ce qu une carte est deblocable en cas d erreur de code
271	j ai besoin de deverrouiller ma carte de paiement	j ai besoin de deverrouiller ma carte de paiement
272	j ai besoin de ma carte bancaire puis je la reactiver	j ai besoin de ma carte bancaire puis je la reactiver
273	j ai bloque ma carte bancaire que faire pour la debloquer	j ai bloque ma carte bancaire que faire pour la debloquer
274	j ai fait trois mauvais codes et ma carte a ete bloquee	j ai fait trois mauvais codes et ma carte a ete bloquee
275	j ai retrouve ma carte puis je la reactiver	j ai retrouve ma carte puis je la reactiver
276	j aimerai debloquer ma carte svp	j aimerai debloquer ma carte svp
277	j aimerai reactiver ma carte visa	j aimerai reactiver ma carte visa
278	je souhaite debloquer ma carte bleue	je souhaite debloquer ma carte bleue
279	je souhaite debloquer ma carte via l application	je souhaite debloquer ma carte via l application
280	ma carte a ete suspendue suite a un mauvais code puis je la reactiver	ma carte a ete suspendue suite a un mauvais code puis je la reactiver
281	ma carte bleue a ete verrouillee que faire	ma carte bleue a ete verrouillee que faire
282	peut on debloquer ma carte visa	peut on debloquer ma carte visa
283	peut on debloquer une carte si on l a bloquee	peut on debloquer une carte si on l a bloquee
284	peut on deverouiller sa carte de paiement via l application	peut on deverouiller sa carte de paiement via l application
285	peut on reactiver sa carte via l application	peut on reactiver sa carte via l application
286	pouvez vous debloquer ma carte	pouvez vous debloquer ma carte
287	pouvez vous deverouiller ma carte bancaire	pouvez vous deverouiller ma carte bancaire
288	pouvez vous reactiver ma mastercard	pouvez vous reactiver ma mastercard
289	pouvez vous remettre en service ma carte	pouvez vous remettre en service ma carte
290	puis je deverrouiller ma carte bleue	puis je deverrouiller ma carte bleue
291	puis je reactiver une carte bancaire bloquee	puis je reactiver une carte bancaire bloquee
292	puis je remettre en marche ma carte	puis je remettre en marche ma carte
293	que faire si ma carte bancaire est bloquee	que faire si ma carte bancaire est bloquee
294	quelle est la demarche pour reactiver ma carte bleue	quelle est la demarche pour reactiver ma carte bleue
295	quelle est la procedure pour debloquer une carte de credit	quelle est la procedure pour debloquer une carte de credit
296	quelle est la procedure pour reactiver une carte de paiement	quelle est la procedure pour reactiver une carte de paiement
297	reactiver ma carte gold	reactiver ma carte gold
298	reactiver sa carte bancaire	reactiver sa carte bancaire
299	reactiver une carte suspendue	reactiver une carte suspendue

---

Display summary of cluster '5': Length='50' ; Summary='None'

Linguistic patterns: ['solde de', 'mes comptes', 'comptes', 'le solde de', 'le solde', 'de mes comptes', 'de mon compte', 'de mes', 'solde de mon', 'mon solde', 'solde de mes', 'solde bancaire', 'situation', 'mon solde bancaire', 'reste il', 'reste', 'me reste il', 'me reste', 'en banque', 'banque']

Text ID	Text with appropriate highlighting	Text with inappropriate highlighting
150	a combien s eleve le solde de mon compte	a combien s eleve le solde de mon compte
151	bonjour comment prendre connaissance du solde de mon compte courant	bonjour comment prendre connaissance du solde de mon compte courant
152	combien ai je sur mon compte	combien ai je sur mon compte
153	combien ai je sur mon compte courant	combien ai je sur mon compte courant
154	combien d argent me reste t il sur mon compte	combien d argent me reste t il sur mon compte
155	combien me reste t il d argent	combien me reste t il d argent
156	combien me reste t il sur mon compte	combien me reste t il sur mon compte
157	comment connaitre la situation de mon compte bancaire	comment connaitre la situation de mon compte bancaire
158	comment connaitre l etat de mes comptes	comment connaitre l etat de mes comptes
159	comment consulter mon compte courant	comment consulter mon compte courant
160	comment voir le solde de mes comptes	comment voir le solde de mes comptes
161	consulter mon solde	consulter mon solde
162	est ce que j ai un solde bancaire debiteur	est ce que j ai un solde bancaire debiteur
163	est ce que je peux voir mon solde bancaire	est ce que je peux voir mon solde bancaire
164	est ce que je suis a decouvert	est ce que je suis a decouvert
165	est ce que je suis en solde negatif	est ce que je suis en solde negatif
166	est ce que mes comptes sont a court de disponibilites	est ce que mes comptes sont a court de disponibilites
167	est ce que mon solde est negatif	est ce que mon solde est negatif
168	j aimerai consulter le solde de mes comptes en banque s il vous plait	j aimerai consulter le solde de mes comptes en banque s il vous plait
169	j aimerai voir ma situation financiaire	j aimerai voir ma situation financiaire
170	je souhaite connaitre le solde de mon compte	je souhaite connaitre le solde de mon compte
171	je souhaite savoir le montant disponible sur mes comptes	je souhaite savoir le montant disponible sur mes comptes
172	je veux connaitre mon solde bancaire actuel	je veux connaitre mon solde bancaire actuel
173	je voudrai connaitre le solde de mes comptes	je voudrai connaitre le solde de mes comptes
174	le solde de mon compte en banque est il dans le rouge	le solde de mon compte en banque est il dans le rouge
175	me reste t il assez d argent sur le compte courant	me reste t il assez d argent sur le compte courant
176	mon solde bancaire est il toujours positif	mon solde bancaire est il toujours positif
177	ou en est ma situation financiere	ou en est ma situation financiere
178	ou est ce que je peux consulter mes comptes bancaires	ou est ce que je peux consulter mes comptes bancaires
179	ou puis je consulter le solde de mes comptes	ou puis je consulter le solde de mes comptes
180	ou retrouver le solde de mon compte	ou retrouver le solde de mon compte
181	ou trouver le solde de mon compte sur l application	ou trouver le solde de mon compte sur l application
182	pouvez vous me communiquer l etat de mon compte bancaire	pouvez vous me communiquer l etat de mon compte bancaire
183	puis je savoir le solde de mes comptes	puis je savoir le solde de mes comptes
184	puis je voir le solde de mon compte courant	puis je voir le solde de mon compte courant
185	quel est le montant de mon livret	quel est le montant de mon livret
186	quel est le montant disponible sur mes comptes	quel est le montant disponible sur mes comptes
187	quel est le solde de mon compte courant	quel est le solde de mon compte courant
188	quel est le solde de mon compte en banque	quel est le solde de mon compte en banque
189	quel est l etat de mes comptes bancaires	quel est l etat de mes comptes bancaires
190	quel est mon solde bancaire	quel est mon solde bancaire
191	quelle est la situation de mes comptes	quelle est la situation de mes comptes
192	quelle est ma situation financiere	quelle est ma situation financiere
193	quelles sont mes disponibilites sur mon compte	quelles sont mes disponibilites sur mon compte
194	quels sont les soldes de mes comptes	quels sont les soldes de mes comptes
195	solde de mes comptes	solde de mes comptes
196	solde de mon compte en banque	solde de mon compte en banque
197	suis je dans le rouge	suis je dans le rouge
198	visualiser mon solde bancaire	visualiser mon solde bancaire
199	voir la situation et le solde de mes comptes	voir la situation et le solde de mes comptes

---

Display summary of cluster '6': Length='50' ; Summary='None'

Linguistic patterns: ['plafond', 'plafond de', 'le plafond', 'plafond de ma', 'le plafond de', 'la limite', 'la limite de', 'depense', 'de depense', 'augmenter le plafond', 'limite de depense', 'relever', 'mon plafond', 'de debit', 'du plafond', 'augmentation', 'depense de', 'de depense de']

Text ID	Text with appropriate highlighting	Text with inappropriate highlighting
400	augmentation du plafond de ma carte	augmentation du plafond de ma carte
401	augmentation du plafond de ma mastercard	augmentation du plafond de ma mastercard
402	augmentation temporaire du plafond	augmentation temporaire du plafond
403	augmenter la plafond de ma carte visa	augmenter la plafond de ma carte visa
404	augmenter le plafond de ma carte bancaire	augmenter le plafond de ma carte bancaire
405	augmenter mon plafond de paiement a l etranger	augmenter mon plafond de paiement a l etranger
406	augmenter sa capacite de paiement temporairement	augmenter sa capacite de paiement temporairement
407	augmenter temporairement ma limite de retrait	augmenter temporairement ma limite de retrait
408	besoin de modifier le plafond de retrait de ma carte bleue	besoin de modifier le plafond de retrait de ma carte bleue
409	bonjour comment puis je augmenter le plafond de ma carte bancaire	bonjour comment puis je augmenter le plafond de ma carte bancaire
410	bonjour comment puis je modifier mon plafond	bonjour comment puis je modifier mon plafond
411	changement de plafond carte bancaire	changement de plafond carte bancaire
412	changer la limite de depense de ma carte bleue	changer la limite de depense de ma carte bleue
413	comment augmenter le montant autorise sur ma carte bancaire	comment augmenter le montant autorise sur ma carte bancaire
414	comment augmenter le plafond de ma carte bleue	comment augmenter le plafond de ma carte bleue
415	comment augmenter mes plafonds de paiement	comment augmenter mes plafonds de paiement
416	comment augmenter mon montant maximum de paiement	comment augmenter mon montant maximum de paiement
417	comment gerer mon plafond de carte	comment gerer mon plafond de carte
418	comment modifier soi meme le plafond de sa carte de paiement	comment modifier soi meme le plafond de sa carte de paiement
419	comment pouvoir payer d avantage avec sa carte visa	comment pouvoir payer d avantage avec sa carte visa
420	comment puis je modifier le plafond de ma carte de credit	comment puis je modifier le plafond de ma carte de credit
421	comment relever la limite de depense de sa carte	comment relever la limite de depense de sa carte
422	diminuer le plafond d une carte gold	diminuer le plafond d une carte gold
423	est ce que je peux augmenter la limite des 2000 € de paiement par carte par mois	est ce que je peux augmenter la limite des 2000 € de paiement par carte par mois
424	est ce que je peux faire varier le plafond de ma mastercard	est ce que je peux faire varier le plafond de ma mastercard
425	est ce que je peux gerer la limite de debit de ma carte	est ce que je peux gerer la limite de debit de ma carte
426	est ce que je peux modifier le plafond de ma carte de paiement via l application	est ce que je peux modifier le plafond de ma carte de paiement via l application
427	est ce que la limite de depense d une carte peut etre modifiee dans l application	est ce que la limite de depense d une carte peut etre modifiee dans l application
428	est il possible de relever la limite de paiement avec sa carte bancaire	est il possible de relever la limite de paiement avec sa carte bancaire
429	es tu capable de relever mon plafond de carte bleue	es tu capable de relever mon plafond de carte bleue
430	gerer la limite de depense d une carte de credit	gerer la limite de depense d une carte de credit
431	gerer le plafond de sa carte bleue	gerer le plafond de sa carte bleue
432	j aimerai augmenter le plafond de depense de ma carte de paiement	j aimerai augmenter le plafond de depense de ma carte de paiement
433	j aimerai limiter la capacite de debit de ma carte	j aimerai limiter la capacite de debit de ma carte
434	j aimerai modifier la limite de debit de ma carte bleue	j aimerai modifier la limite de debit de ma carte bleue
435	je souhaite augmenter le plafond de ma carte de credit	je souhaite augmenter le plafond de ma carte de credit
436	je souhaite depasser la limite des 2000 € de paiement par carte par mois comment faire	je souhaite depasser la limite des 2000 € de paiement par carte par mois comment faire
437	je veux reduire le montant de debit maximum d une carte que faire	je veux reduire le montant de debit maximum d une carte que faire
438	je voudrai modifier la limite de paiement de ma carte	je voudrai modifier la limite de paiement de ma carte
439	le plafond de ma carte est trop bas que faire	le plafond de ma carte est trop bas que faire
440	ma carte visa a un plafond de paiment trop bas puis je l augmenter	ma carte visa a un plafond de paiment trop bas puis je l augmenter
441	ma mastercard a une limite de debit trop faible comment puis l ajuster	ma mastercard a une limite de debit trop faible comment puis l ajuster
442	ou puis je gerer mes plafonds de carte visa	ou puis je gerer mes plafonds de carte visa
443	peut on gerer la capacite de paiement d une carte de credit via l application	peut on gerer la capacite de paiement d une carte de credit via l application
444	peux tu relever le plafond de ma carte	peux tu relever le plafond de ma carte
445	puis je avoir un plafond de carte plus eleve	puis je avoir un plafond de carte plus eleve
446	puis je modifier la limite de depense d une carte de credit	puis je modifier la limite de depense d une carte de credit
447	puis je relever la limite de depense de ma carte bancaire	puis je relever la limite de depense de ma carte bancaire
448	quel est le maximum d argent que je peux debiter avec ma carte bleue	quel est le maximum d argent que je peux debiter avec ma carte bleue
449	quel est le montant maximal que je peux retirer avec ma carte bancaire	quel est le montant maximal que je peux retirer avec ma carte bancaire

---

Display summary of cluster '7': Length='50' ; Summary='None'

Linguistic patterns: ['commander', 'commander une', 'changer', 'une nouvelle', 'nouvelle', 'changer de carte', 'changer de', 'une nouvelle carte', 'nouvelle carte', 'commander une carte', 'nouvelle carte bancaire', 'commander une nouvelle', 'comment changer', 'differe', 'avoir une carte', 'nouvelle carte bleue', 'pour une carte', 'pour une']

Text ID	Text with appropriate highlighting	Text with inappropriate highlighting
100	changer de carte bancaire	changer de carte bancaire
101	changer de carte de credit	changer de carte de credit
102	changer de carte de paiement pour une carte sans frais	changer de carte de paiement pour une carte sans frais
103	choisir une nouvelle carte bancaire	choisir une nouvelle carte bancaire
104	commander une carte a paiement differe	commander une carte a paiement differe
105	commander une carte avance sante	commander une carte avance sante
106	commander une carte bancaire	commander une carte bancaire
107	commander une carte visa	commander une carte visa
108	commander une nouvelle carte bleue	commander une nouvelle carte bleue
109	comment avoir une carte gold	comment avoir une carte gold
110	comment changer de carte bleue	comment changer de carte bleue
111	comment changer de carte de credit s il vous plait	comment changer de carte de credit s il vous plait
112	comment changer sa carte pour une carte gold	comment changer sa carte pour une carte gold
113	comment commander une nouvelle carte bancaire	comment commander une nouvelle carte bancaire
114	comment demander une carte a paiement differe	comment demander une carte a paiement differe
115	comment demander une carte avance sante	comment demander une carte avance sante
116	comment echanger ma carte actuelle avec une carte gold	comment echanger ma carte actuelle avec une carte gold
117	comment faire une demande de renouvellement de carte	comment faire une demande de renouvellement de carte
118	comment obtenir une mastercard	comment obtenir une mastercard
119	comment peut on commander une cartes de paiement	comment peut on commander une cartes de paiement
120	comment puis je commander ma carte bancaire	comment puis je commander ma carte bancaire
121	comment renouveler sa carte bancaire	comment renouveler sa carte bancaire
122	comment se procurer une nouvelle carte de credit	comment se procurer une nouvelle carte de credit
123	demander une nouvelle carte bleue	demander une nouvelle carte bleue
124	echanger ma carte bleue pour une carte gold	echanger ma carte bleue pour une carte gold
125	est ce que je peux avoir une carte sans frais	est ce que je peux avoir une carte sans frais
126	est ce que je peux commander une carte gold	est ce que je peux commander une carte gold
127	est ce que le renouvellement de carte bancaire est automatique	est ce que le renouvellement de carte bancaire est automatique
128	j aimerai changer de carte de credit	j aimerai changer de carte de credit
129	je desire commander une mastercard	je desire commander une mastercard
130	je souhaite avoir une autre carte bancaire	je souhaite avoir une autre carte bancaire
131	je souhaite changer de carte bancaire	je souhaite changer de carte bancaire
132	je souhaite me procurer une carte mastercard	je souhaite me procurer une carte mastercard
133	je souhaiterai beneficier d une carte a debit differe	je souhaiterai beneficier d une carte a debit differe
134	je souhaiterai commander une carte visa	je souhaiterai commander une carte visa
135	je veux commander une deuxieme carte de paiement	je veux commander une deuxieme carte de paiement
136	je veux une nouvelle carte de credit	je veux une nouvelle carte de credit
137	je voudrai commander une carte gold	je voudrai commander une carte gold
138	je voudrai obtenir une carte visa	je voudrai obtenir une carte visa
139	je voudrais une carte gold	je voudrais une carte gold
140	ou commander une nouvelle carte bancaire	ou commander une nouvelle carte bancaire
141	peut on changer de carte bleue avant le renouvellement automatique	peut on changer de carte bleue avant le renouvellement automatique
142	puis je avoir une nouvelle mastercard	puis je avoir une nouvelle mastercard
143	puis je commander une nouvelle carte bancaire	puis je commander une nouvelle carte bancaire
144	puis je me procurer une nouvelle carte bancaire sans frais supplementaire	puis je me procurer une nouvelle carte bancaire sans frais supplementaire
145	quelle demarche dois je suivre pour avoir une carte visa	quelle demarche dois je suivre pour avoir une carte visa
146	quelles sont les cartes bancaires que je peux commander	quelles sont les cartes bancaires que je peux commander
147	quelles sont les cartes disponibles si je souhaite changer de carte de credit	quelles sont les cartes disponibles si je souhaite changer de carte de credit
148	serait il possible de commander une autre carte de paiement	serait il possible de commander une autre carte de paiement
149	y a t il des cartes bancaires sans frais disponibles a la commande	y a t il des cartes bancaires sans frais disponibles a la commande

---

Display summary of cluster '8': Length='50' ; Summary='None'

Linguistic patterns: ['avalee', 'distributeur', 'le distributeur', 'gab', 'le gab', 'par le', 'recuperer', 'retenue', 'par le distributeur', 'carte avalee', 'garde ma carte', 'garde ma', 'garde', 'ete avalee', 'retenue par le', 'retenue par', 'avalee par', 'avale ma', 'avale', 'rendu ma carte', 'rendu ma', 'rendu', 'pas rendu ma', 'pas rendu', 'ne pas rendu', 'ne pas', 'le distributeur avale', 'distributeur avale ma']

Text ID	Text with appropriate highlighting	Text with inappropriate highlighting
50	carte avalee	carte avalee
51	carte bancaire avalee	carte bancaire avalee
52	carte bancaire retenue au distributeur	carte bancaire retenue au distributeur
53	carte bleue avalee	carte bleue avalee
54	carte de paiement avalee	carte de paiement avalee
55	comment faire pour chercher une carte bancaire avalee	comment faire pour chercher une carte bancaire avalee
56	comment recuperer une carte avalee	comment recuperer une carte avalee
57	comment recuperer une mastercard retenue par le distributeur	comment recuperer une mastercard retenue par le distributeur
58	en cherchant de l argent le gab a avale ma carte	en cherchant de l argent le gab a avale ma carte
59	en retirant de l argent le distributeur a garde ma carte	en retirant de l argent le distributeur a garde ma carte
60	j ai voulu retirer de l argent et le gab a garde ma carte bancaire	j ai voulu retirer de l argent et le gab a garde ma carte bancaire
61	je me suis fait avaler ma carte que dois je faire s il vous plait	je me suis fait avaler ma carte que dois je faire s il vous plait
62	je ne comprends pas pourquoi ma carte de paiement a ete avalee	je ne comprends pas pourquoi ma carte de paiement a ete avalee
63	je voudrai recuperer la carte bancaire que le gab a retenue	je voudrai recuperer la carte bancaire que le gab a retenue
64	je voudrai reprendre la carte bancaire que le distributeur a avalee	je voudrai reprendre la carte bancaire que le distributeur a avalee
65	le distributeur a avale ma carte visa	le distributeur a avale ma carte visa
66	le distributeur a avale ma mastercard	le distributeur a avale ma mastercard
67	le distributeur a avale ma visa comment faire pour la recuperer	le distributeur a avale ma visa comment faire pour la recuperer
68	le distributeur a confisque ma carte de paiement	le distributeur a confisque ma carte de paiement
69	le distributeur a garde ma carte lors d un retrait d argent	le distributeur a garde ma carte lors d un retrait d argent
70	le distributeur a pris ma mastercard	le distributeur a pris ma mastercard
71	le distributeur ne m a pas rendu ma carte bleue	le distributeur ne m a pas rendu ma carte bleue
72	le gab a garde ma carte de credit	le gab a garde ma carte de credit
73	le gab a retenue ma carte visa	le gab a retenue ma carte visa
74	le gab de la caisse m a pris ma carte	le gab de la caisse m a pris ma carte
75	le gab ne m a pas rendu ma carte visa	le gab ne m a pas rendu ma carte visa
76	ma carte a ete avalee par un distributeur	ma carte a ete avalee par un distributeur
77	ma carte a ete retenue par le distributeur	ma carte a ete retenue par le distributeur
78	ma carte a ete retenue par le gab	ma carte a ete retenue par le gab
79	ma carte bancaire a ete confisquee par le distributeur	ma carte bancaire a ete confisquee par le distributeur
80	ma carte bleue a ete avalee comment faire pour la recuperer	ma carte bleue a ete avalee comment faire pour la recuperer
81	ma carte de credit a ete avalee par le distributeur	ma carte de credit a ete avalee par le distributeur
82	ma carte de paiement a ete gardee par le distributeur	ma carte de paiement a ete gardee par le distributeur
83	ma carte gold a ete gardee lors de mon retrait d argent	ma carte gold a ete gardee lors de mon retrait d argent
84	ma carte vient d etre avalee par le distributeur sans motif valable	ma carte vient d etre avalee par le distributeur sans motif valable
85	ma carte visa a ete retenue par le distributeur suite a une erreur de code	ma carte visa a ete retenue par le distributeur suite a une erreur de code
86	ma mastercard a ete avalee par un distributeur comment puis je faire pour la recuperer	ma mastercard a ete avalee par un distributeur comment puis je faire pour la recuperer
87	ma mastercard a ete confisquee par le gab	ma mastercard a ete confisquee par le gab
88	on a confisque ma carte bleue que faire pour la reprendre	on a confisque ma carte bleue que faire pour la reprendre
89	on ne m a pas rendu ma carte de paiement au gab	on ne m a pas rendu ma carte de paiement au gab
90	pourquoi le distributeur a t il garde ma carte bancaire	pourquoi le distributeur a t il garde ma carte bancaire
91	pourquoi le distributeur ne m a pas rendu ma carte gold	pourquoi le distributeur ne m a pas rendu ma carte gold
92	pourquoi le gab a t il garde ma carte de paiement	pourquoi le gab a t il garde ma carte de paiement
93	pourquoi ma carte a t elle ete avalee	pourquoi ma carte a t elle ete avalee
94	que faire pour recuperer une carte bleue lorsque le distributeur l a avalee	que faire pour recuperer une carte bleue lorsque le distributeur l a avalee
95	que faire si je me suis fait avaler ma carte	que faire si je me suis fait avaler ma carte
96	que faire si votre carte bleue est retenue par le distributeur	que faire si votre carte bleue est retenue par le distributeur
97	quelle est la procedure pour chercher une carte de credit avalee	quelle est la procedure pour chercher une carte de credit avalee
98	recuperer carte avalee	recuperer carte avalee
99	recuperer carte bleue avalee par distributeur	recuperer carte bleue avalee par distributeur

---

Display summary of cluster '9': Length='50' ; Summary='None'

Linguistic patterns: ['perte', 'perte de', 'vol', 'vol de', 'perte de carte', 'vol de carte', 'vole ma', 'vole', 'signaler', 'on vole ma', 'on vole', 'un vol de', 'un vol', 'vol carte', 'ne retrouve', 'je ne retrouve', 'vole ma carte', 'egare ma carte', 'egare ma', 'egare', 'ai egare ma']

Text ID	Text with appropriate highlighting	Text with inappropriate highlighting
0	comment signaler un vol de carte bleue	comment signaler un vol de carte bleue
1	comment signaler une perte de carte de paiement	comment signaler une perte de carte de paiement
2	j ai egare ma carte de credit	j ai egare ma carte de credit
3	j ai egare ma carte de paiement	j ai egare ma carte de paiement
4	j ai perdu ma carte bancaire	j ai perdu ma carte bancaire
5	j ai perdu ma carte bleue	j ai perdu ma carte bleue
6	j aimerai declarer un vol de carte	j aimerai declarer un vol de carte
7	je me suis fait voler ma carte bancaire	je me suis fait voler ma carte bancaire
8	je me suis fait voler ma carte bleue	je me suis fait voler ma carte bleue
9	je n ai pas retrouve ma carte bancaire depuis plusieurs jours	je n ai pas retrouve ma carte bancaire depuis plusieurs jours
10	je ne retrouve pas ma carte visa	je ne retrouve pas ma carte visa
11	je ne retrouve pas ma mastercard	je ne retrouve pas ma mastercard
12	je ne sais pas ou j ai laisse ma carte de credit que faire	je ne sais pas ou j ai laisse ma carte de credit que faire
13	je souhaite declarer la perte de ma carte gold	je souhaite declarer la perte de ma carte gold
14	je souhaite declarer une perte de carte bleue	je souhaite declarer une perte de carte bleue
15	je souhaite signaler le vol d une carte de credit	je souhaite signaler le vol d une carte de credit
16	je souhaite vous avertir de la perte de ma carte	je souhaite vous avertir de la perte de ma carte
17	je suis victime d un vol de carte bancaire	je suis victime d un vol de carte bancaire
18	je suis victime d un vol de carte	je suis victime d un vol de carte
19	je veux signaler la perte de ma carte de paiement	je veux signaler la perte de ma carte de paiement
20	je veux signaler une perte de carte	je veux signaler une perte de carte
21	ma carte visa a ete derobee	ma carte visa a ete derobee
22	ma mastercard a ete egaree	ma mastercard a ete egaree
23	ma mastercard a ete subtilisee	ma mastercard a ete subtilisee
24	on a derobe ma carte de credit	on a derobe ma carte de credit
25	on a subtilise ma carte de credit	on a subtilise ma carte de credit
26	on a vole ma carte bleue	on a vole ma carte bleue
27	on a vole ma carte que faire	on a vole ma carte que faire
28	on a vole ma mastercard	on a vole ma mastercard
29	perte de carte	perte de carte
30	perte de carte bleue	perte de carte bleue
31	perte de mastercard	perte de mastercard
32	perte ou vol de carte	perte ou vol de carte
33	que dois je faire en cas de perte de ma carte	que dois je faire en cas de perte de ma carte
34	que faire en cas de vol de sa carte bleue	que faire en cas de vol de sa carte bleue
35	que faire si j ai egare ma carte bleue	que faire si j ai egare ma carte bleue
36	que faire si je ne retrouve pas ma carte bancaire	que faire si je ne retrouve pas ma carte bancaire
37	que faire si je perds ma carte de credit	que faire si je perds ma carte de credit
38	que faire si je perds ma carte gold	que faire si je perds ma carte gold
39	quelle demarche si je ne retrouve plus ma carte bleue	quelle demarche si je ne retrouve plus ma carte bleue
40	quelle est la demarche en cas de perte de carte	quelle est la demarche en cas de perte de carte
41	quelle est la demarche en cas de vol de carte	quelle est la demarche en cas de vol de carte
42	quelqu un a derobe ma carte bancaire	quelqu un a derobe ma carte bancaire
43	quelqu un a subtilise ma carte bleue	quelqu un a subtilise ma carte bleue
44	quelqu un a vole ma carte de paiement	quelqu un a vole ma carte de paiement
45	un inconnu a derobe ma carte bleue	un inconnu a derobe ma carte bleue
46	un inconnu a subtilise ma carte bancaire	un inconnu a subtilise ma carte bancaire
47	vol carte bancaire	vol carte bancaire
48	vol carte de credit	vol carte de credit
49	vol de carte de paiement	vol de carte de paiement

In [ ]: