- 博客(16)
- 收藏
- 关注
RSS订阅原创 书生浦语第二期实战营学习笔记（作业）（第七节课）
1.如何全面的评测LLM2.LLM的评测成本非常高3.评测的数据污染问题4.LLM评测结果的鲁棒性在run.sh同级目录data下，执行一下命令设置–datasets petEval_gen/bin/bash---language:- language- languagewebsite:github:paper:tag:- textcn: # optional, for chinese version website name: 宠物百科知识验证集。
2024-04-24 15:49:19
1059
1
原创 书生浦语第二期实战营学习笔记（作业）（第六节课）
智能体实现工具LagentLagent 是一个轻量级开源智能体框架，旨在让用户可以高效地构建基于大语言模型的智能体。同时它也提供了一些典型工具以增强大语言模型的能力。2. 多智能体实现工具AgentLegoAgentLego 是一个提供了多种开源工具 API 的多模态工具包，旨在像是乐高积木一样，让用户可以快速简便地拓展自定义工具，从而组装出自己的智能体。
2024-04-22 20:58:12
795
1
原创 书生浦语第二期实战营学习笔记（作业）（第四节课）
根据微调的目的，主要分为两种1.增量预训练微调2.指令跟随微调1.多数据拼接2.使用Flash Attention和DeepSpeed。
2024-04-19 14:59:14
1293
原创 书生浦语第二期实战营学习笔记（作业）（第五节课）
当模型训练，微调，评测等系列工作完成，得到想要的模型后。将模型放到实际的使用环境中使用，这个过程叫做部署LMDeploy有以下特点：1.高效推理：continuous batch，blocked k/v cache，动态拆分和融合任务，张量并行，TurboMind高效的kenel设计2.量化结果可靠3.便捷的服务，完整的pipeline4.有缓存状态的推理。
2024-04-14 17:38:10
1198
1
原创 书生浦语第二期实战营学习笔记（作业）（第三节课）
如下图，RAG是检索用户提供的外部知识库，让LLM理解然后生成的一种技术可以看到茴香豆不仅是一个应用，也是一套非常完善的Pipline，它包含了：1.知识库构建2.和前端交互3.和后端交互。
2024-04-10 17:04:11
1228
1
原创 书生浦语第二期实战营学习作业（笔记）（第二节课）
修改下/root/codes/InternLM-XComposer/examples/gradio_demo_composition.py 836-842行，也可以不改，用传参的方法，这里熟悉下代码，去改一下。这里用的是/root/codes/InternLM-XComposer/examples/gradio_demo_chat.py 这里不改了，用传参的方法。huggingface 经常连不上,terminal中设置下，也可以写在~/.bashrc，从huggingface的镜像中下载。
2024-04-01 13:01:55
971
原创 linux SD卡压缩备份系统后，开机系统根目录变只读，容量变小
不正常的显示：/dev/mmcblk2p1 on / type ext4 (ro,relatime,data=ordered)正常的显示：/dev/mmcblk2p1 on / type ext4 (rw,relatime,data=ordered)参考文章：https://www.originbot.org/guide/image_install/#sd_1。扩容失败过，现在直接右键resize已经是最大空间了，但实际上只能使用为扩容之前的空间。不用umount，直接运行下面的命令，正常了。
2024-03-28 14:13:49
278
原创 openblas cblas_sgemm参数理解
需要加速两个三维矩阵的乘积，形状形如[30, 128, 1536][^T]*[30, 128, 1536]=[30, 1536, 1536]，使用openblas，需要对其中的cblas_sgemm做了解，经过一段时间测试，记录如下，备忘。
2023-12-13 14:38:25
332
1
原创 地平线X3交叉编译cartographer
1.先在服务器安装交叉编译链的docker，参考链接12.将x3板子的根目录关挂到服务器的某个目录下，将该目录挂载到docker里面3.编写一个cross.cmake用于指定一些已经编好的库的路径.
2023-11-17 09:17:45
349
1
原创 python2 安装 opencv 出错
python2 安装 opencv 出错我使用 Anaconda 创建了一个 python2.7 的环境，然后安装 opencv： pip install opencv-python。TypeError: 'NoneType' object is not iterable ERROR: Command errored out with exit status 1: /home/pc_user/.venvs/venv/bin/python /home/pc_user/.venvs/venv/lib/p
2021-11-30 16:50:30
3136
原创 pycharm远程docker中的环境进行调试
pycharm远程docker中的环境进行调试1.在远程的ubuntu服务器端，启动并进入容器，打开端口22，安装 vim、openssh-server1.1启动容器：1.2 进入容器：2 .修改ssh配置文件3. 开启 sshd服务4. 设置连接密码1.在远程的ubuntu服务器端，启动并进入容器，打开端口22，安装 vim、openssh-server1.1启动容器： docker run -it --gpus all -p（宿主机器映射的端口）:（容器中监听的端口）（container_id）
2021-11-23 13:56:10
917
原创 精简docker内容，缩小镜像大小
1 背景使用docker经常会遇到这样的问题，基础镜像几百兆，在容器中安装了几个软件，然后commit到镜像。后来删除了一些内容，再次commit成镜像。发现。根本不会变小，而且会越来越大。其实，commit，顾名思义，就是把当次的修改提交。体现在docker镜像中，就是新的一层。在 Dockerfile 中， 每一条指令都会创建一个镜像层，继而会增加整体镜像的大小。而commit也是层的增加。这其实也很好理解，例如git，你对某个文件增加了一行，又删除了一这一行，虽然最新版文件看起来没有了，但其实历
2021-10-21 14:09:52
941
原创 开发板上mount和samba的一些经验
mount和sumba的一些经验1 背景2 nfs2.1 nfs安装2.2 nfs配置文件修改2.3 exportfs2.4 重启3.2 samba配置文件修改3.3 exportfs3.4 重启3.5 windows -我的电脑-添加网络位置4 临时增加网段1 背景开发板上跑程序经常需要nfs文件系统和samba用于挂载和交互查看文件2 nfs2.1 nfs安装sudo apt-get install nfs-kernel-server2.2 nfs配置文件修改sudo vim /etc/
2021-01-19 12:35:40
751
原创 onnx2caffe的一些经验
记录一个onnx2caffe遇到的bug背景环境步骤1.pytorch2onnx2.onnx瘦身3.onnx2caffe经验1.torch1.4版本，在torch.onnx.export可以选择opset_version=11,可以解决后面很多问题2.如果torch在训练的时候使用了nn.DataParallel，模型加载的时候也要用nn.DataParallel加载权重，在export的时候使用model.module。否则onnx导出的结果不正确（也有其他的办法处理权重）TODO合理的创建标题，有助于目
2020-12-29 10:07:22
3704
10
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人