本文作者：张炯
星图比特（StarBitech）创始人、我国通讯工业协会信息化科技立异委员会委员、上海技能交易所专家库专家、《一本书读懂Web3.0》《一本书读懂NFT》联合作者。
ChatGPT谈天机器人持续进化，近期三则要害音讯都预示了这一AI技能敏捷、大规划商用的潜力。首要，OpenAI于3月14日推出了GPT-4大模型，该模型不只支撑多模态输出，并且在杂乱推理和体现方面逾越了依据GPT-3.5的ChatGPT，一经推出即引起广泛运用和传达。其次，百度在3月16日也宣告发布文心一言，一个能够对标ChatGPT的AI谈天机器人产品。一起，在这之前，ChatGPT的母公司OpenAI也于3月1日宣告开放了ChatGPT的API（运用程序接口），并将运用本钱下降了90%。
跟着AI技能的不断开展，像GPT这类的大型AI模型的价格也将逐步下降。那为什么AI大模型会越来越廉价呢？
星图比特（StarBitech）创始人张炯与动点科技就此问题进行了讨论。上海星图比特信息技能服务有限公司（StarBitech）成立于2015年，由上海树图区块链研究院与风语筑（603466.SH）联合出资的一家原生智能数字内容财物科技公司。公司日前已取得微柔和OpenAI的资助，将依据我国历史、文明和言语特征，发挥团队在中文自然言语处理和本乡合规范畴的优势，环绕GPT、DALLE算法以及强化学习的加持，将在对话机器人、视觉内容创造、营销内容创造等国内笔直范畴展开AIGC服务，为营销、游戏、动漫、文旅、政府等职业供应人工智能赋能。
1. 为什么像GPT这样的大型AI模型变得越来越廉价，其他的干流模型是否也会适应这个降价的趋势？
大模型越来约廉价主要是由于技能的不断前进和竞赛的加重。OpenAI 表明，gpt-3.5-turbo与ChatGPT产品运用的是相同的模型，它的费用是1000 tokens（约750个词）只需求0.002美元，将GPT-3.5运用本钱下降90%。“turbo”代号指的是GPT-3.5的优化、响应速度更快的版别。
Open AI 本钱的大幅下降或许来自于多方面的优化，包含模型架构的调整、算法算力和 GPU 的优化、事务层的优化、模型层优化、量化优化、kernel 层优化、编译器层优化等等。
模型架构的调整主要是指经过剪枝、量化、微调等技能来精简模型的巨细，协助前进模型的功能和准确度的一起，也能够削减模型的核算量和参数量，下降推理时刻和本钱。算法算力和 GPU 的优化是经过运用高效的算法和GPU 并行核算来加快核算，前进核算功率。事务层优化是指优化整个体系功能，如运用缓存技能和猜测技能等下降推迟和重复调用，然后前进体系的功能和功率。模型层优化能够经过优化网络结构来下降练习和推理的时刻和本钱。量化优化经过运用低精度核算来下降核算量和参数量。编译器层优化经过运用高效的编译器来优化代码的履行，然后前进核算功率。
别的，由于越来越多的公司和研究机构进入AI大模型范畴，如google的LaMDA（137B）和PaLM（540B），DeepMind的Gopher（280B）、BigScience的BLOOM（175B）、Meta的OPT（175B）、英伟达的TNLG v2（530B）以及清华大学的GLM-130B（130B）等，导致商场竞赛变得剧烈，一起价格竞赛也开端变得剧烈。这个要素导致AI模型价格不断下降。(括号中的数字表明这些AI模型的参数量)
其他干流的模型是否会适应这个降价趋势取决于这些模型的规划、功能和需求。假如这些模型的规划和功能与GPT-3模型适当，且商场需求激烈，那么它们也有或许阅历价格下降趋势，可是，假如这些模型的规划较小、功能较低，或许商场需求不强，那么它们的价格或许不会大幅下降。长时刻来看，跟着技能的不断开展，以及软硬件技能的前进，处理很多数据和练习模型所需的本钱会逐步下降，大言语模型的价格或许会有所下降。别的，跟着越来越多的公司和安排开端运用大言语模型，商场竞赛也会推进价格的下降。当然，详细的降价起伏和时刻是无法确认的，由于它还取决于商场的供应联系及模型的质量。当然，关于一些高端模型的价格或许会持续坚持高价位，由于关于高质量、高功能和高附加值运用场景的模型，或许需求更多的核算资源和专业知识来支撑。
2. 在降价的一起，这些AI大模型是否变得更强壮、聪明晰？您是否认同OpenAI CEO Sam Altman 说的新AI摩尔定律：AI智能总量每18个月翻一倍？
我是很认同新AI摩尔定律的，本钱的下降和运用的增多相同也会添加可被AI学习的语料和数据，然后进一步的进步AI的才能，从2022年开端，咱们以为全球的互联网环境现已进入到一个无时无刻不再进行“图灵测验”的大AI智能年代，和前几年的图画AI不同，言语本文类AI更多的像是人类的大脑，能够影响的规划更广也根深，但现在AI的才能还很大程度取决于硬件，特别是高功能硬件GPU的才能和供应，所以AI的开展和芯片的摩尔定律有很强的正向相关。
3. 推进AI大模型本钱下降的一些要害要素是什么？
1) 算法的改善：新的算法和技能会不断的迭代和提出，新的算法能更高效地运用核算资源和数据，然后削减练习和推理的本钱；
2) 硬件的改善：跟着硬件技能进步，例如GPU和TPU等专用芯片的呈现，能够供应更高效的核算才能，加快练习和推理进程，然后下降本钱；
3) 数据集的规划：数据是AI练习的要害，更大更优质的数据集能够供应更多的信息，然后前进模型的准确性和泛化才能，一起也能够经过更高效的数据处理和存储技能来下降数据本钱；
4) 可重用的预练习模型：预练习模型现已成为练习大模型的重要方法，例如BERT和GPT等预练习模型现已充沛验证了他们的才能。这些模型能够作为基础模型来练习其他模型，然后削减练习时刻和本钱；
5) 分布式核算：将练习进程分解为多个使命并在多台核算机上运转，能够大大缩短练习时刻和本钱。