📚 為了協助您快速上手,專案中已製作了一份完整且詳細的使用教學指南,請直接閱讀:PROJECT_GUIDE.md
本專案為學術用途的 概念驗證(Proof of Concept) 系統,旨在探索:
🟢 正向 52.0% / 🔵 冷靜 51.6%)。本專案的關鍵檔案配置如下:
c:/Users/Diego/Downloads/AI_project/
├── app.py # Streamlit 儀表板主入口程式
├── pages/
│ └── 1_中山AI網友沙盒.py # AI 網友社群自主模擬與人機大戰前端
├── dcard_fetcher.py # Playwright Chrome CDP 自動化爬蟲 (隨機防封鎖延遲)
├── HTMLdealer.py # 數據庫同步與 CSV 寫入工具
├── data_processor.py # 知識蒸餾管線 (對話樹重建 + NumPy MLP 雜訊過濾)
├── import_content_csv.py # 離線 content.csv 數據多行解析與導入資料庫工具
├── train_lora.py # QLoRA 4-bit 微調訓練腳本 (支援 Colab T4)
├── serve_model.py # FastAPI OpenAI 相容本地模型 API 伺服器
├── evaluator.py # TTR 豐富度與風格 Cosine 相似度評估工具
├── clean_db.py # SQLite 資料庫安全清空與壓縮工具
├── nlp_engine.py # 2D 情感分析引擎與關鍵字詞雲生成
├── db_manager.py # 本地 SQLite 資料庫讀寫介面
├── nsysu_舆情.db # 本地 SQLite 資料庫 (儲存爬蟲、模擬與導入數據)
├── PROJECT_GUIDE.md # 本專案一站式完整使用指南 (繁中)
├── README.md # 專案介紹說明書 (本文件)
└── report/ # 學術報告產出模組
├── academic_report.html # 雙欄論文格式學術報告 (HTML)
├── academic_report.pdf # 使用 Playwright 自動編譯的學術 PDF 報告
├── generate_report_charts.py # 圖表生成工具 (動態繪製情緒空間與評估結果)
└── compile_pdf.py # 自動化 HTML 轉 PDF 編譯指令腳本
系統使用離線、規則式的多維情感字典與繁體中文斷詞引擎。
將 $[-100.0, 100.0]$ 的分數透過以下公式映射為 $[0%, 100%]$ 的分佈百分比: $$\text{百分比} = 50.0% + \frac{\text{原始分數}}{2.0}$$
資料庫採用 SQLite(nsysu_舆情.db),包含貼文主表 posts、留言表 comments、虛擬看板表 virtual_posts 與虛擬留言表 virtual_comments。
若您重複執行爬蟲與解析腳本,系統不會造成資料庫混亂。
ON CONFLICT(post_id) DO UPDATE 語意。data_processor.py 提供將論壇非結構化數據提煉為 LLM 微調數據的資料工程管線:
@B[0-9]+,將扁平列表還原為多叉對話樹。poster_dataset.jsonl 與留言者 commenter_dataset.jsonl。為了微調出具備中山特徵的 AI 網友:
程式位於 pages/1_中山AI網友沙盒.py,提供:
st.chat_message 完美呈現多層留言樹。本系統具備標準學術評估管線與論文雙欄格式報告生成機制,用於科學評估 AI 網友智能體與真實人類留言的風格契合度。
基於導入的真實語料(N=269 貼文,963 留言)以及模擬生成的 AI 語料進行評估:
36.9%72.9%58.6%58.6%,驗證了 QLoRA 微調對於吸收中山大學學生用詞特徵與黑話習慣的有效性。專案在 report/ 目錄中提供完整學術報告生成工具:
python report/generate_report_charts.py 將自動從資料庫讀取最新數據,並在 report/assets/ 下繪製情緒空間分佈、主題統計與評估指標對比等三張高清圖表。python report/compile_pdf.py 可利用 Playwright 自動將 academic_report.html 渲染並編譯輸出為 PDF 格式報告。pip install streamlit pandas plotly jieba wordcloud curl_cffi playwright fastapi uvicorn torch transformers peft accelerate datasets bitsandbytes matplotlib
playwright install chromium
content.csv 快速填入資料庫:
python import_content_csv.py
& "C:\Program Files\Google\Chrome\Application\chrome.exe" --remote-debugging-port=9222 --user-data-dir="C:\chrome_dev_profile" --no-first-run
python dcard_fetcher.py
python HTMLdealer.py
python report/generate_report_charts.py
python report/compile_pdf.py
streamlit run app.py
啟動後在側邊欄切換至 1_中山AI網友沙盒 頁面即可體驗!.gitignore,確保您抓取的數據與個人 Cookie 資訊(位於 config.json)不會推送到公開的 GitHub 倉庫中。其他使用者 clone 專案後,會在他們本地重新建立自己專屬的資料庫。📝 詳細的實作細節與模型訓練指南,請即刻閱讀:PROJECT_GUIDE.md
📚 為了協助您快速上手,專案中已製作了一份完整且詳細的使用教學指南,請直接閱讀:PROJECT_GUIDE.md
本專案為學術用途的 概念驗證(Proof of Concept) 系統,旨在探索:
🟢 正向 52.0% / 🔵 冷靜 51.6%)。本專案的關鍵檔案配置如下:
c:/Users/Diego/Downloads/AI_project/
├── app.py # Streamlit 儀表板主入口程式
├── pages/
│ └── 1_中山AI網友沙盒.py # AI 網友社群自主模擬與人機大戰前端
├── dcard_fetcher.py # Playwright Chrome CDP 自動化爬蟲 (隨機防封鎖延遲)
├── HTMLdealer.py # 數據庫同步與 CSV 寫入工具
├── data_processor.py # 知識蒸餾管線 (對話樹重建 + NumPy MLP 雜訊過濾)
├── import_content_csv.py # 離線 content.csv 數據多行解析與導入資料庫工具
├── train_lora.py # QLoRA 4-bit 微調訓練腳本 (支援 Colab T4)
├── serve_model.py # FastAPI OpenAI 相容本地模型 API 伺服器
├── evaluator.py # TTR 豐富度與風格 Cosine 相似度評估工具
├── clean_db.py # SQLite 資料庫安全清空與壓縮工具
├── nlp_engine.py # 2D 情感分析引擎與關鍵字詞雲生成
├── db_manager.py # 本地 SQLite 資料庫讀寫介面
├── nsysu_舆情.db # 本地 SQLite 資料庫 (儲存爬蟲、模擬與導入數據)
├── PROJECT_GUIDE.md # 本專案一站式完整使用指南 (繁中)
├── README.md # 專案介紹說明書 (本文件)
└── report/ # 學術報告產出模組
├── academic_report.html # 雙欄論文格式學術報告 (HTML)
├── academic_report.pdf # 使用 Playwright 自動編譯的學術 PDF 報告
├── generate_report_charts.py # 圖表生成工具 (動態繪製情緒空間與評估結果)
└── compile_pdf.py # 自動化 HTML 轉 PDF 編譯指令腳本
系統使用離線、規則式的多維情感字典與繁體中文斷詞引擎。
將 $[-100.0, 100.0]$ 的分數透過以下公式映射為 $[0%, 100%]$ 的分佈百分比: $$\text{百分比} = 50.0% + \frac{\text{原始分數}}{2.0}$$
資料庫採用 SQLite(nsysu_舆情.db),包含貼文主表 posts、留言表 comments、虛擬看板表 virtual_posts 與虛擬留言表 virtual_comments。
若您重複執行爬蟲與解析腳本,系統不會造成資料庫混亂。
ON CONFLICT(post_id) DO UPDATE 語意。data_processor.py 提供將論壇非結構化數據提煉為 LLM 微調數據的資料工程管線:
@B[0-9]+,將扁平列表還原為多叉對話樹。poster_dataset.jsonl 與留言者 commenter_dataset.jsonl。為了微調出具備中山特徵的 AI 網友:
程式位於 pages/1_中山AI網友沙盒.py,提供:
st.chat_message 完美呈現多層留言樹。本系統具備標準學術評估管線與論文雙欄格式報告生成機制,用於科學評估 AI 網友智能體與真實人類留言的風格契合度。
基於導入的真實語料(N=269 貼文,963 留言)以及模擬生成的 AI 語料進行評估:
36.9%72.9%58.6%58.6%,驗證了 QLoRA 微調對於吸收中山大學學生用詞特徵與黑話習慣的有效性。專案在 report/ 目錄中提供完整學術報告生成工具:
python report/generate_report_charts.py 將自動從資料庫讀取最新數據,並在 report/assets/ 下繪製情緒空間分佈、主題統計與評估指標對比等三張高清圖表。python report/compile_pdf.py 可利用 Playwright 自動將 academic_report.html 渲染並編譯輸出為 PDF 格式報告。pip install streamlit pandas plotly jieba wordcloud curl_cffi playwright fastapi uvicorn torch transformers peft accelerate datasets bitsandbytes matplotlib
playwright install chromium
content.csv 快速填入資料庫:
python import_content_csv.py
& "C:\Program Files\Google\Chrome\Application\chrome.exe" --remote-debugging-port=9222 --user-data-dir="C:\chrome_dev_profile" --no-first-run
python dcard_fetcher.py
python HTMLdealer.py
python report/generate_report_charts.py
python report/compile_pdf.py
streamlit run app.py
啟動後在側邊欄切換至 1_中山AI網友沙盒 頁面即可體驗!.gitignore,確保您抓取的數據與個人 Cookie 資訊(位於 config.json)不會推送到公開的 GitHub 倉庫中。其他使用者 clone 專案後,會在他們本地重新建立自己專屬的資料庫。📝 詳細的實作細節與模型訓練指南,請即刻閱讀:PROJECT_GUIDE.md