1. 为什么大模型推理时显存涨的那么多还一直占着？
2. 大模型在gpu和cpu上推理速度如何？
7B量级下：
3. 推理速度上，int8和fp16比起来怎么样？
根据实践经验，int8模式一般推理会明显变慢（huggingface的实现）
4. 大模型有推理能力吗？
大模型有推理能力。有下面2个方面的体现：
ChatGPT拥有in-context correction的能力，即如果说错了，给出矫正，ChatGPT能“听懂”错在哪儿了，并向正确
的方向修正。in-context correction要比in-context learning难了太多，描述越详细清楚，ChatGPT回答得越好。
要知道，越详细的描述，在预训练的文本里越难匹配到的。
