ChatterUI

ChatterUI，由github玩机大神推出的ai软件，支持在手机本地部署侧端大模型，app已经开源了，能够被广泛的用于文件管理、大语言模型互交等场景当中，此外应用提供了移动优化的操作界面，是最好最智能的手机离线跑AI

ChatterUI模型推荐

数学专家模型

bartowski/Qwen2.5-Math-1.5B-Instruct-GGUF

bartowski/Qwen2.5-Math-7B-Instruct-GGUF

编程专家模型

bartowski/Qwen2.5-Coder-1.5B-Instruct-GGUF

bartowski/Qwen2.5-Coder-7B-Instruct-GGUF

ChatterUI如何下载模型文件和添加模型

1、直接复制已有模型，去谷歌或是其他浏览器下载即可

2、然后按照下图所示方式，添加模型

chatterui相关说明

1、TTS通常是手机自带的功能。如果没有，就需要安装Google TTS（安装好就自带en-US离线数据），中文语音离线数据需要自己安装TTS以后，在手机设置搜索TTS，然后去下载，普通网络就可以直接下载的（数据不到10M）。

2、ChatterUI在后台时间久了，很容易被系统自动释放内存，所以就需要重新Load模型；也可以点齿轮，把自动load的选项打开。

3、import导入模型A以后，模型A就有两份，为了节约手机空间，可以考虑把原来的模型文件备份到U盘以后，再删除。

chatterui手机部署教程

一、将模型格式转换为gguf格式

1、先点击https://github.com/ggerganov/llama.cpp进入，将llama.cpp仓库下载下来

2、在创建虚拟环境，直接用conda创建

注意：Togguf是虚拟环境名称，懒得改可以直接复制命令运行

conda create -n Togguf python=3.10

3、 配置环境，模型转换需要用到llama.cpp中的convert_hf_to_gguf.py，在运行直接先配置一下环境，把刚才下载的llama.cpp-master.zip解压，在cmd窗口中cd到该行以下命令：pip install -r requirements.txt

4、从Hugging Face下载safetensors模型，下载后把以下4个文件放在同一个目录下：model.safetensors、config.json、tokenizer.jsontokenizer.model

5、模型转换

在cmd中cd到convert_hf_to_gguf.py所在目录，运行以下命令，注意：E:Projectmodelsafetensorstext_1B是设置的.safetensors格式模型的目录，需要按照自己的修改一下；E:Projectmodelsafetensorsgguf_model为.gguf格式模型的输出目录，同样是自己修改一下。

二、使用手机本地部署

1、手机本地部署资源下载请参考：https://pan.baidu.com/s/1FyWyQyh_V_7xAcWobWLGfg提取码:wk7k

2、再把刚才转换好的.gguf格式模型传输到手机上，然后打开安装好的软件ChatterUI，导入使用即可。

ChatterUI主要功能

1、可以输出Markdown表格；

2、可以文本转语音（TTS）；

3、可以对重点部分进行高亮显示，便于用户快速抓住关键信息；

4、可以轻松复制对话内容，便于后续使用或分享；

5、可以对不满意的答案进行重新生成，提供更准确或更符合需求的回答；

ChatterUI下载的模型放什么位置

默认就行（默认在Download文件夹）；

打开PockePal，导入模型文件就行；

ChatterUI优势介绍

1、在远程模式下连接到各种API

2、可以在本地模式下运行LLM

3、与设备的文本到语音（TTS）引擎集成

4、与字符聊天。 （支持字符卡V2规范。）

5、每个字符创建和管理多个聊天

6、自定义采样器字段并指示格式