Skip to content

Navigation Menu

Sign in
Appearance settings

Search code, repositories, users, issues, pull requests...

Provide feedback

We read every piece of feedback, and take your input very seriously.

Saved searches

Use saved searches to filter your results more quickly

Appearance settings

MSA-LMC/AVI2026

Open more actions menu

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

64 Commits
64 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

1:测试集特征目录 (test_feature_*):这些目录存放了预先提取好的 .npz 格式测试集特征

test_feature_q1_t: 维度 q1 (general_1) 的文本模态特征。
test_feature_q1_a: 维度 q1 (general_1) 的音频模态特征。
test_feature_q1_v: 维度 q1 (general_1) 的视频模态特征。
test_feature_q2_t: 维度 q2 (general_2) 的文本模态特征。
test_feature_q2_a: 维度 q2 (general_2) 的音频模态特征。
test_feature_q2_v: 维度 q2 (general_2) 的视频模态特征。
test_feature_q3_t: 维度 q3 (Honesty-Humility) 的文本模态特征。
test_feature_q3_a: 维度 q3 (Honesty-Humility) 的音频模态特征。
test_feature_q3_v: 维度 q3 (Honesty-Humility) 的视频模态特征。
test_feature_q4_t: 维度 q4 (Extraversion) 的文本模态特征。
test_feature_q4_a: 维度 q4 (Extraversion) 的音频模态特征。
test_feature_q4_v: 维度 q4 (Extraversion) 的视频模态特征。
test_feature_q5_t: 维度 q5 (Agreeableness) 的文本模态特征。
test_feature_q5_a: 维度 q5 (Agreeableness) 的音频模态特征。
test_feature_q5_v: 维度 q5 (Agreeableness) 的视频模态特征。
test_feature_q6_t: 维度 q6 (Conscientiousness) 的文本模态特征。
test_feature_q6_a: 维度 q6 (Conscientiousness) 的音频模态特征。
test_feature_q6_v: 维度 q6 (Conscientiousness) 的视频模态特征。

注明:q1和q2通用问题的特征仅用于track2,不涉及track1,track1只使用q3-q6特征

2:track1_train(track1训练代码目录)

data:存放数据,包括原始视频,转录的音频和文本
gemini_embedding:存放各个维度各个模态的特征
preprocess:数据预处理代码,包括视频转音频、文本转录、特征提取
q*_train:各个维度的训练代码
其余csv均为数据集文件

3:AVI-Track2(track2训练测试代码目录)

AVI-Track2/
├── data-2026/
│   ├── submission.csv                              # track2 提交模板
│   ├── test_data.csv                               # track2 测试集
│   ├── test_data_basic_information.csv             # track2 测试集元信息
│   ├── train_data.csv                              # track2 训练集
│   └── train_data.csv                              # track2 验证集
├── features/                                       # 存放测试集特征
├── output/
│   └── AVI-Track2/                                 # 存放模型、对应的测试结果和测试日志
├── baseline_dataset2_vote.py                       # 数据预处理与加载文件
├── M_model_T.py                                    # 模型结构文件
├── main.py                                         # 主代码(自动根据脚本参数进行训练/测试)
├── main.sh                                         # 训练脚本
├── README.md                                       # 说明
├── requirement.txt                                 # 环境依赖
└── test.sh                                         # 测试脚本

4:模型权重文件 (checkpoint)

checkpoints/: 存放track1训练完成后保存的四个维度的模型权重文件 (.pth)。脚本会自动根据权重文件加载对应的模型参数。
./AVI-Track2/output/AVI-Track2/:里面存放track2的模型权重文件

5:数据模板

template.csv: track1初始的提交模板文件,包含样本 id 列,用于引导推理流程并确定样本顺序。
./AVI-Track2/data-2026/submission.csv: track2初始提交模板文件

6:脚本说明

test.py: track1测试脚本。支持模型结构自适应、模态组合选择。
test.sh: track1启动脚本。该脚本配置了所有特征路径与权重路径参数,按顺序一次性执行 q3 → q4 → q5 → q6 的全流程推理,并将结果合并汇总导出为submission.csv。
./AVI-Track2/test.sh: track2测试脚本
./AVI-Track2/main.sh: track2训练脚本

7: 环境安装:

进入AVI2026目录,python3 -m pip install -r requirements.txt,若无法连接github,则可以使用清华镜像源安装:python3 -m pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
git clone的时候要先安装或激活git-lfs,否则大的pth模型权重无法下载(因为上传使用的是git-lfs,所以只会拉取一个几百字节的指针),此外要扩大缓冲区,拉取结束请检查模型文件是否完整,否则无法运行,注意不要丢失模型文件。
git lfs install
git clone https://github.com/2003-0224/AVI2026

8:运行启动脚本:

    # 首先进入AVI2026目录,cd AVI2026,然后进行接下来操作:
    # track1测试:
    chmod +x test.sh
    bash test.sh

    # track2测试:
    cd AVI-Track2
    chmod +x test.sh
    bash test.sh
    注明:track1测试完成后,生成的测试结果在当前目录下,名称submission.csv;track2测试完成后,生成的测试结果在./AVI-Track2/output/AVI_track2/submission.csv(可能需要等待15-30秒的推理时间,具体是否完成可以看同目录下的测试日志文件)

About

No description, website, or topics provided.

Resources

Stars

Watchers

Forks

Releases

Packages

Contributors

Languages

Morty Proxy This is a proxified and sanitized view of the page, visit original site.