在手机上运行大模型

type

status

date

slug

开始

⚠️1.你需要一部性能较好的手机，否则推理速度可能不足

2.在手机上，大模型没有一个前端，且功能可能受限

实操部分

安装termux

官方地址（国内直连较难）

https://github.com/termux/termux-app/releases/download/v0.119.0-beta.1/termux-app_v0.119.0-beta.1+apt-android-7-github-debug_universal.apk

自有地址（施工中）

神秘链接

https://get.downkuai.com/api/down/mobile/140917

部署Ollma

什么是Ollma

Ollma是一个开源大模型的平台，借助Ollma，我们可以更简单的运行大模型

安装Ollma

首先安装proot-distro

再使用proot-distro安装debian

登录debian

拉取Ollma

打开Ollma

这里Ollma就安装完成了

安装大模型

前往Ollma

Ollama

Get up and running with large language models.

https://ollama.com/search

搜索你想要的模型，这里以Deepseek举例

复制它，粘贴运行就会触发拉取了，安装后会自动运行

再次运行

你需要重复一些步骤

这行取决于你刚刚复制的代码，这里依旧用Deepseek举例

注意

由于我们是强行运行大模型，7b以上的模型就别想了，回复速度会很慢很慢

开始