hotchpotch/wikipedia-passages-jawiki-embeddings-utils

wikipedia 日本語の文を、各種日本語の embeddings や faiss index へと変換するスクリプト等。

fujiki/llm-japanese-dataset_wikipedia

Dataset

- This dataset is a subset of izumi-lab/llm-japanese-dataset only including wikipedia task.

hotchpotch/JQaRA

Dataset

JQaRA : Japanese Question Answering with Retrieval Augmentation - 検索拡張(RAG)評価のための日本語 Q&A データセット

hotchpotch/JQaRA

JQaRA: Japanese Question Answering with Retrieval Augmentation - 検索拡張(RAG)評価のための日本語Q&Aデータセット

FreedomIntelligence/sharegpt-japanese

Dataset

Japanese ShareGPT data translated by gpt-3.5-turbo.

singletongue/wikipedia-utils

Dataset

Wikipedia-Utils: Preprocessed Wikipedia Texts for NLP

FreedomIntelligence/alpaca-gpt4-japanese

Dataset

The dataset is used in the research related to [MultilingualSIFT](https://github.com/FreedomIntelli…

FreedomIntelligence/MMLU_Japanese

Dataset

Japanese version of MMLU dataset tranlasted by gpt-3.5-turbo.

hotchpotch/wikipedia-passages-jawiki-embeddings-utils

wikipedia 日本語の文を、各種日本語の embeddings や faiss index へと変換するスクリプト等。