动手训练一个简单的Llava模型。加深对llava的理解。
准备环境：
需要下载三个预训练的权重到model_hub下：TinyLLaVA-Qwen2-0.5B-SigLIP、Qwen/Qwen2-0.5B、google/siglip-so400m-patch14-384 。TinyLLaVA-Qwen2-0.5B-SigLIP可以去tinyllava_factory下载，另外两个可以去hugging face上下载。
数据下载到data下并解压：链接: https://pan.baidu.com/s/1DISLgni8cRY6ZY5hp3QV7Q?pwd=uaa3 提取码: uaa3
安装依赖：pip install -r requirements.txt
其余训练和测试参考微信文章：https://mp.weixin.qq.com/s/LwDkIGC61M7BIqUDgNVg9A
动手训练一个简单的Llava模型。加深对llava的理解。
准备环境：
需要下载三个预训练的权重到model_hub下：TinyLLaVA-Qwen2-0.5B-SigLIP、Qwen/Qwen2-0.5B、google/siglip-so400m-patch14-384 。TinyLLaVA-Qwen2-0.5B-SigLIP可以去tinyllava_factory下载，另外两个可以去hugging face上下载。
数据下载到data下并解压：链接: https://pan.baidu.com/s/1DISLgni8cRY6ZY5hp3QV7Q?pwd=uaa3 提取码: uaa3
安装依赖：pip install -r requirements.txt
其余训练和测试参考微信文章：https://mp.weixin.qq.com/s/LwDkIGC61M7BIqUDgNVg9A
