Author Archives: coder4

强制apt使用IPv4

# root
echo 'Acquire::ForceIPv4 "true;"' > /etc/apt/apt.conf.d/99force-ipv4

[......]

scikit-learn文本分类

import numpy as np
import pandas as pd

df = pd.read_csv('./smsspamcollection.tsv', sep='\t')
df.head()
df['label'].value_counts()

# split data set
from sklearn.model_selection import train_test_split
X = df['message']
y = df['label']
df.[......]

ghostscript中的有用选项

https://ghostscript.com/docs/9.54.0/Devices.htm[......]

llma2微调的3种方式

本地：https://github.com/oobabooga/text-generation-webui
- Download基座模型(huggingface路径)
- 准备数据集，放到datasets中，注意格式format
colab：https://colab.research.google.com/drive/12dVqXZMIVxGI0uutU6HG9RWbWPXL3vts?usp=sharing (模型和数据集都在huggingface)
lam[......]
继续阅读

nlp学习笔记

1 使用spacy做简单nlp任务
需要先下载模型，这里下了中文模型，更多可以参考模型列表
python -m spacy download zh_core_web_lg
分析：
import spacy

nlp = spacy.load('zh_core_web_lg')

doc = nlp(u'有一个老师是很幸福的，可以有学习机会，有做比较的机会。如果从这些角度来说我是果粉呢，也不为过。')

for token in doc:
print(token.text[......]