- 博客(147)
- 收藏
- 关注
RSS订阅转载 safetensors_rust.SafetensorError: Error while deserializing header: InvalidHeaderDeserialization
【代码】safetensors_rust.SafetensorError: Error while deserializing header: InvalidHeaderDeserialization。
2024-08-06 15:31:27
439
原创 EOF() | BOF()相关题目解析
RECN()全写是RECNO(),返回当前记录的记录号，因此返回值是“数值型”；BOF()用来判断当前是否是头记录（即是否当前是第一条记录），如果是第一条记录，返回“T”，否则，返回“F”。因此，BOF()返回值为“逻辑型”。
2023-10-12 22:25:07
590
原创 bash: sudo: command not found的解决方法 | 安装sudo
bash: sudo: command not found的解决方法。
2023-08-08 16:04:07
1348
转载 latex单引号双引号
https://juejin.cn/s/latex%20%E8%8B%B1%E6%96%87%E5%BC%95%E5%8F%B7
2023-04-22 10:13:27
160
转载 Wilcoxon Signed Rank Test vs Paired Student‘s t-test
https://www.datascienceblog.net/post/statistical_test/signed_wilcox_rank_test/
2023-04-03 16:57:54
247
原创 报错grep: -P supports only unibyte and UTF-8 locales
【代码】报错grep: -P supports only unibyte and UTF-8 locales。
2023-02-26 20:43:08
1190
原创 [Errno 13] Permission denied: ‘data_shell_gen_noIP_rmstopwords‘
可以尝试检查一下传进去的是不是一个文件目录，而不是一个文件名。
2023-02-02 14:18:42
158
原创 json.decoder.JSONDecodeError: Unterminated string starting at
文件没有传完整导致报错。
2023-01-29 13:38:02
2086
原创 NCCL Error 2: unhandled system error | data parallel on GPU A100(多卡DP训练报错)
单卡训练没有问题，多卡DP训练的时候报错。
2023-01-22 21:17:12
3593
2
原创 Failed building wheel for tokenizers
安装transfomers成功了，但是tokenizers怎么也装不上。自己下载，注意与tranformers版本的对应。那策略就是自己分开安装tokenizer。如图，安装了rust也同样报错。可以直接pip，也可以去。
2022-11-27 20:37:05
4246
原创 启动bert-server报错TypeError: cannot unpack non-iterable NoneType object
查了一圈，是因为tensorflow版本太高，我装的2.0的版本，换成1.15就好了。
2022-08-27 17:10:27
1700
原创 pytorch中torch.mul、torch.mm/torch.bmm、torch.matmul的区别
torch.matmul: 两个tensor的矩阵乘积，与mm的区别就是不限制是不是二维，符合broadcasted规则的都可以。torch.mul: 两个输入按元素相乘，内积。torch.mm: 特指二维矩阵乘法，外积。分两种情况，默认其中一个是tensor。......
2022-08-18 11:53:45
1668
原创 import torch_geometric.nn报错/lib64/libm.so.6: version `GLIBC_2.27‘ not found
原因是但是linux系统只有ldd(GNUlibc)2.17，要改gcc编译工程浩大，算了算了，那根据（如下图）,换成安装pytorch1.9。
2022-07-19 15:54:16
3443
原创 CondaHTTPError: HTTP 000 CONNECTION FAILED for url ＜https://conda.anaconda.org/conda-forge/win-64/c
报错。
2022-07-18 18:34:13
2987
1
转载 Microsoft Visual C++ 14.0 or greater is required. Get it with “Microsoft C++ Build Tools
https://zhuanlan.zhihu.com/p/471661231
2022-07-10 15:11:43
1222
转载 BPE字符串编码&BBPE(byte-level BPE)
https://www.cnblogs.com/zjuhaohaoxuexi/p/16412976.html
2022-07-07 16:45:54
1832
转载 如何查找python安装包的路径site-packages?
https://stackoverflow.com/questions/122327/how-do-i-find-the-location-of-my-python-site-packages-directory
2022-07-07 15:42:33
963
原创 tokenizers＞=0.11.1,!=0.11.3,＜0.13 is required for a normal functioning of this module,
原因：tokenizer的版本有两个，原先安装了0.5.0（低版本）的版本，后来安装了0.12.1（高版本）的版本，但是由于某种原因，没有卸载0.5.0的版本解决办法
2022-06-22 18:36:21
5720
转载 Python中pickle和json序列化和反序列化
https://www.csdn.net/tags/NtDaEgysODA2ODctYmxvZwO0O0OO0O0O.html
2022-06-19 22:06:19
129
原创 Linux NLTK 安装，下载nltk_data中的punkt以及其他
https://www.jianshu.com/p/fd501b927b72
2022-06-08 20:21:30
3342
原创 超算Disk quota exceed
报错原因有很多，这里就讨论其中一种可能磁盘写满的原因貌似是服务器对每个用户的登录结点的存储空间有限制解决方法就是将anaconda安装到别的没有限制存储的结点，链接：https://zhuanlan.zhihu.com/p/395259076...
2022-06-06 16:57:27
2051
原创 python中sys.stdout和sys.stderr（将输出/报错信息保存在文件中）
我的理解：默认情况下，编译器的输出sys.stdout默认是输出在底下的框里，如果要保存在文件中，方便随时查看就需要一下操作：输出：
2022-06-04 21:50:54
1442
转载 词汇表的构建——代码补全快餐教程（3）-分词
https://wenku.baidu.com/view/ef31e600677d27284b73f242336c1eb91a3733b5.html
2022-06-02 21:32:10
211
转载 huggingface加载预训练模型
在加载前需要统一模型文件名。比如bin文件都得叫pytorch_model.bin，配置文件都得叫config.json，词汇文件都得叫vocab.txt或json。这个是因为源码中的判断要求，所以别问，问就是改名。(https://blog.csdn.net/qq_33293040/article/details/109534923)RoBERTa中的merge.txt和vocab.json是什么Bert采用的是字符级别的BPE编码，直接生成词表文件。Roberta采用的是**byte level的B
2022-05-16 16:17:10
1534
原创 6 months seeing what happen
Now it’s 2022/5/13, I finally get to debug the codes in papers, I want to see what will happen if I just stick to it for long period of time, no one will do it for me, just like learning anything, like learning swimming and play ping-pong, you get to walk
2022-05-13 20:52:08
219
2
原创 AttributeError: ‘Meteor‘ object has no attribute ‘meteor_p‘
安装nlg-eval报错，然后直接跑程序meteor，发现FileNotFoundError: [WinError 2] 系统找不到指定的文件。所以经过查找是因为没有安装java环境的原因，因此java环境安装教程设置系统变量之后成功运行
2022-05-13 11:17:09
541
原创 np.percentile用法
参考：https://www.pythonheidong.com/blog/article/398943/74bde73098fcf59b3329/简单的说就是应用i+(j−i)∗fractioni + (j - i) * fractioni+(j−i)∗fraction先将数组从小到大排序，其中i是最小的值，j是最大的值，然后直接套公式就可以得到结果了import numpy as npa=np.arange(1,6)b=np.array([5,3,2,1,4])print(a)prin
2022-05-11 16:19:51
491
转载 nn.CrossEntropyLoss()交叉熵损失函数
交叉熵公式在pytorch中细究其中CrossEntropyLoss是由softmax+log+NLLLoss组成那百度一下NLLLoss是什么？from torch import nnimport torch# nllloss首先需要初始化nllloss = nn.NLLLoss() # 可选参数中有 reduction='mean', 'sum', 默认meanpredict = torch.Tensor([[2, 3, 1], [3,
2022-05-08 22:35:37
733
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人