Category Archives: 机器学习

机器学习 / 数据挖掘

常用机器学习开源模型网站

预训练好的：

模型代码：

[......]

import numpy as np
import pandas as pd

df = pd.read_csv('./smsspamcollection.tsv', sep='\t')
df.head()
df['label'].value_counts()

# split data set
from sklearn.model_selection import train_test_split
X = df['message']
y = df['label']
df.[......]

本地：https://github.com/oobabooga/text-generation-webui
- Download基座模型(huggingface路径)
- 准备数据集，放到datasets中，注意格式format
colab：https://colab.research.google.com/drive/12dVqXZMIVxGI0uutU6HG9RWbWPXL3vts?usp=sharing (模型和数据集都在huggingface)
lam[......]
继续阅读

1 机器准备

GCP，GPU至少选Tesla T4、操作系统Ubuntu 20.04，硬盘50GB

2 安装cuda驱动

参考GCP的官方文档：https://cloud.google.com/compute/docs/gpus/install-drivers-gpu

可以使用自动安装脚本（注意提前安装python 3)

下载
curl https://raw.githubusercontent.com/GoogleCloudPlatform/compute-gp[......]