GPT-4 和 GPT-3对比
模型大小：GPT-4 会比 GPT-3 更大，但应该小于当前最大的语言模型（5300 亿参数的 MT-NLG 与 5400 亿参数的 PaLM）。总之，GPT-4 不再强调以大取胜。
优化：GPT-4 消耗的算力比 GPT-3 更多。它将在参数化（最优超参数）与规模扩展（训练 token 数量与模型大小同等重要）方面做出新的最优性探索。
多模态：GPT-4 将是一个纯文本模型（而非多模态模型）。OpenAI 正努力将语言模型发挥到极致，之后再逐步转向 DALL·E 等有望全面超越单模态系统的多模态模型。
稀疏性：GPT-4 将延续 GPT-2 与 GPT-3 的趋势，仍然保持密集模型的身份（使用全部参数来处理任何给定输入）。但未来稀疏性可能逐渐占据主导地位。
对齐：GPT-4 的对齐程度将高于 GPT-3。借助从 InstructGPT 中总结出的知识，GPT-4 也将获得由人工反馈训练得出的宝贵经验。但 AI 对齐难题的彻底解决还有很长的路要走，目前仍在探索阶段、不宜大肆宣扬。