Benchmarks-Models

RoboSpatial

下载数据

python benchmarks/robospacial/download_benchmark.py

回答问题

python benchmarks\robospacial\main.py gpt-4o --config benchmarks\robospacial\config.yaml

Where2Place

下载数据

python benchmarks/where2place/download_benchmark.py

回答问题

python benchmarks\where2place\gpt_vqa.py --model gpt-4o --data_dir where2place --question_file bbox_questions.jsonl --answer_file vqa_answers.jsonl --num_question 100

评估

python benchmarks\where2place\summarize_vqa.py --answer_file output_where2place\gpt-4o_vqa_answers.jsonl --data_dir where2place --question_file point_questions.jsonl --num_questions 100