llama.cpp跑gguf量化模型

gguf量化的模型,目前看只有llama.cpp支持的比较好,使用了ollama和其他衍生客户端,都会有奇怪的乱输出问题,还没找到解法(据说是要配置template)。

首先这里下载,https://github.com/ggerganov/llama.cpp/releases

解压缩
unzip llama-b4686-bin-ubuntu-x64.zip
运行
./llama-b4686-bin-ubuntu-x64/build/bin/llama-cli -m ./xxx[......]

继续阅读

[转]记录如何在RK3588板子上跑通paddle的OCR模型

原文链接:https://blog.csdn.net/m0_60657960/article/details/143209851

参考链接:https://blog.csdn.net/Fzq1021/article/details/133508218

1 PC电脑是Ubuntu22.04系统中完成环境搭建(板子是20.04)

安装模型转换环境
conda create -n rknn2 python==3.10
conda activate rknn2
安装Ubuntu依[......]

继续阅读

用shell控制在某个指定时刻执行命令

这种时间变动比较大,用cron不适合,且cron精度也不够

run_at.sh
#!/bin/bash

# 检查是否输入了时间戳参数
if [ "$#" -ne 1 ]; then
echo "Usage: $0 yyyymmddhhmmss"
exit 1
fi

timestamp=$1

# 解析目标时间并获取其Unix时间戳(秒)和纳秒部分
target_seconds=$(date -d "${timestamp:0:8} ${timestamp[......]

继续阅读