其实prompt并不是今年才出现的新名词。早在2021年,NLP的研究人员已经尝试往问题上加入各种前缀后缀,或者改变问题的形式,来让语言大模型LLM给出更贴切的回答,这就是Prompt Engineering的雏形了。但是由于当时大家都不知道是怎么回事,找到好的prompt就像瞎猫碰上死耗子一样,所以prompt又被称之为“咒语”。但是今天,我在这里给大家解开prompt的神秘面纱。其实并没有什么“咒语”!我们都知道AI的所有智能都来自于喂给它的数据,哪怕对于现在的语言大模型来说也是一样的,所以这些prompt必然也是以某种形式存在于训练语料当中。举个例子,之前有篇工作发现,很多语言大模型答不好推理题,但是往问题后面加上一句“Let us think step by step”以后,模型居然神奇地把答案答对了!后来大家发现训练语料里面,很多解答步骤的开头就写着这么一句“Let us think step by step”,只不过恰巧加入这句话后唤醒了模型的这部分能力罢了。又比如说,之前有人发现语言大模型理解不了输入的数学公式,后来尝试着把Latex格式的公式输入进去,它突然又能理解了,其实原因也是因为训练数据里面包含了大量的Latex格式的公式。