AI全栈技术

工作之余学习AI知识也有两三个周了，本着对费曼学习法的信奉，今天必须逼着自己写一写已经学到的知识。

先随性写吧。AI全栈技术有哪些呢？先说大的，然后对着他们逐一细说。

AI吧，现在这么火爆，是因为他变得聪明了，在解题、翻译、文本聊天、图片生成、视频生成等这些任务上已经逼近甚至超越了人类水平。AI深入到了大家的工作学习之中。作为AI相关的技术人员，核心使命就是要把AI带给大家，带给更多的人去使用。服务好每一类AI用户。

要说AI用户有哪些类别，那肯定包括训练大模型的客户，微调大模型的客户，使用大模型进行推理的客户，

AI技术那就包含了训练和推理。是不是所有的AI技术都可以被这两个囊括了呢？如果是的话，那这个维度就是正交的。

那举个例子，假设我开发了一款AI专用芯片，需要去写PyTorch的适配层，那这个工作属于训练还是推理呢？那其实更多是为训练服务的。

那说到训练技术，可以继续细分为：

如何让训练的更快

如何让训练的模型更智能

当然这些都太泛了，还要引入一写行话才能更显得牛逼。那训练都还有哪些行话呢？

有啊，训练输入数据是非常庞大的，怎样加速数据的读取呢？训练过程往往有成千上万个AI节点，怎样让这些节点高效并行呢？这就是分布式并行。训练过程有很多流水线，怎么养各个流水线之间相互并行呢？这就是流水线并行。

模型格式转换，各大阵营的模型格式不一样，需要相互转换，OK都有哪些阵营？这个需要大体了解并且要记住，这样才有谈资。

上面的AI技术讲了训练和推理。

那再从别的维度讲讲：PyTorch，TensorFlow，TensorRT，ONNX，llama.cpp

有哪些大模型？都有哪些特点，怎么对这些大模型进行分类？

藏掉手机等干扰项。逼着自己写上半小时。思路就全来了，再不行的话，喝上一杯啤酒再试试。

好吧，这样下来就可以把事情更细化了。

好了，那说说最近几周学了哪些课程吧：

昇腾计算卡都有哪些？

深度学习是什么、机器学习是什么、强化学习是什么、注意力机制是什么？MNIST项目是什么包含了什么技术？自注意力机制解决了什么问题？怎么解决的？

分布式并行，模型优化，模型压缩，模型量化，计算图，自动微分。

AI计算体系：计算模式，矩阵乘法，推理系统，推理引擎，模型部署

AI集群硬件架构与训练指标（这个要再看看，每一个课程都要再看看，要自己能说出来）

大模型基础，训练显存，推理显存。

分布式训练相关的基本原理。