笔记

【PAPER】情境原则：从错误中学习

0 条评论 默认分类 笔记 论文 上下文学习 MisakaStone
情境原则：从错误中学习In-Context Principle Learning from Mistakes0 研究背景ICL是当前在预训练大语言模型中广泛使用的一种方法，在没有额外训练的情况下，通过提供少数输入-输出示例来引导模型完成下游任务。ICL本质上是基于少量的正向输入-输出对来学习模型的行为。然而，现有的ICL方法只学习这些正确的对，而没有涉及错误的反思和改正。人类会从错误中吸取教...

【PAPER】雇一名语言学家！通过上下文语言描述学习濒危语言

0 条评论 默认分类 笔记 论文 上下文学习 MisakaStone
Hire a Linguist!: Learning Endangered Languages in LLMs with In-Context Linguistic DescriptionsHire a Linguist!: Learning Endangered Languages in LLMs with In-Context Linguistic Descriptions0 研究背景L...

【PAPER】基于上下文学习的古汉语句读标点研究

0 条评论 默认分类 笔记 论文 上下文学习 MisakaStone
基于上下文学习的古汉语句读标点研究Ancient Chinese Punctuation via In-Context Learning0 研究背景古代汉语文本缺乏标点符号，这为文本处理带来了挑战。1 研究问题利用LLM为这些文本加上适当的标点符号，从而帮助研究人员更高效地处理这些文本。提出了一个处理流程。2 创新点提出了基于语料相似性的 ICL 示例选择策略。分类过滤： 先通过 LLM 问...

【PAPER】kNN Prompting：超越上下文学习的无校准最近邻推理

0 条评论 默认分类 笔记 论文 上下文学习 MisakaStone
kNN Prompting：超越上下文学习的无校准最近邻推理kNN Prompting: Beyond-Context Learning with Calibration-Free Nearest Neighbor Inference0 背景当大规模语言模型（LLMs）的参数规模扩展至数十亿时，已在各种自然语言处理（NLP）任务中展现出非凡的能力。然而，这些模型的训练成本极其高昂，超出了大多...

【PAPER】特征自适应和数据可扩展的上下文学习

0 条评论 默认分类 笔记 论文 上下文学习 MisakaStone
特征自适应和数据可扩展的上下文学习Feature-Adaptive and Data-Scalable In-Context Learning0 研究背景上下文学习方法如今被广泛应用，并在下游任务中表现出优越的性能。上下文学习（In-context Learning, ICL）是一种无需调整大语言模型（LLM）参数的学习方法，通过将少量带标签的示例添加到输入上下文中，从而提升模型在特定任务中...