底层原理才是王道
跑模型时遇到报错，没那么气馁了，
大模型领域变化快，写好的保姆级教程经常因为版本更迭而失效，掌握底层原理才是至关重要的。
今天使用vllm框架在npu环境上跑一个example脚本，报出了一个算子调用错误。不像以前那样慌张与焦急了，静心的去研究报错，很快就能界定是版本匹配的原因。
类似文章
损失函数、前向传播、后向传播
作者Frank损失函数（Loss Function）也常被称为成本函数（Cost Function），是表达模型输出与真实值…
colab编译llama.cpp部署llama大模型总结
作者Frankcolab可以用来做什么： 可以当做高RAM，高性能的linux主机，同时可以按需求调整硬件为GPU模式
llama.cpp 项目刚刚完成了构建系统的重大迁移。
作者FrankFYI 3. 为什么他们要换成 CMake？ 既然你关注架构设计，这背后的原因主要有三点： 你可以现在尝试运行…