如何使用 BERT 模型制作 t-sne 图

Question

我有两个文本分类模型 https://huggingface.co/samanjoy2/banglaclickbert_finetuned_sequence_classification_clickbait https://huggingface.co/samanjoy2/banglabert_finetuned_sequence_classification_clickbait

我想在 T-SNE plor 中绘制它们的隐藏状态。我该怎么做？图片中显示了一个例子。

Answer 1

我不知道它是否仍然相关，但在解码为数据向量之前获得最终嵌入并与 t-sne 相匹配。您可能需要带着困惑才能获得良好的可视化效果。