autorag.data package

Subpackages

• autorag.data.beta package
  • Subpackages
    • autorag.data.beta.filter package
      • Submodules
      • autorag.data.beta.filter.dontknow module
      • autorag.data.beta.filter.prompt module
      • Module contents
    • autorag.data.beta.generation_gt package
      • Submodules
      • autorag.data.beta.generation_gt.base module
      • autorag.data.beta.generation_gt.llama_index_gen_gt module
      • autorag.data.beta.generation_gt.openai_gen_gt module
      • autorag.data.beta.generation_gt.prompt module
      • Module contents
    • autorag.data.beta.query package
      • Submodules
      • autorag.data.beta.query.llama_gen_query module
      • autorag.data.beta.query.openai_gen_query module
      • autorag.data.beta.query.prompt module
      • Module contents
  • Submodules
  • autorag.data.beta.extract_evidence module
  • autorag.data.beta.sample module
    • random_single_hop()
    • range_single_hop()
  • autorag.data.beta.schema module
    • Corpus
      • Corpus.batch_apply()
      • Corpus.linked_raw
      • Corpus.map()
      • Corpus.sample()
      • Corpus.to_parquet()
    • QA
      • QA.batch_apply()
      • QA.batch_filter()
      • QA.filter()
      • QA.linked_corpus
      • QA.make_retrieval_gt_contents()
      • QA.map()
      • QA.to_parquet()
      • QA.update_corpus()
    • Raw
      • Raw.batch_apply()
      • Raw.chunk()
      • Raw.flatmap()
      • Raw.map()
  • Module contents
• autorag.data.chunk package
  • Submodules
  • autorag.data.chunk.base module
    • add_file_name()
    • chunker_node()
    • make_metadata_list()
  • autorag.data.chunk.langchain_chunk module
    • langchain_chunk()
    • langchain_chunk_pure()
  • autorag.data.chunk.llama_index_chunk module
    • llama_index_chunk()
    • llama_index_chunk_pure()
  • autorag.data.chunk.run module
    • run_chunker()
  • Module contents
• autorag.data.corpus package
  • Submodules
  • autorag.data.corpus.langchain module
    • langchain_documents_to_parquet()
  • autorag.data.corpus.llama_index module
    • llama_documents_to_parquet()
    • llama_text_node_to_parquet()
  • Module contents
• autorag.data.parse package
  • Submodules
  • autorag.data.parse.base module
  • autorag.data.parse.clova module
  • autorag.data.parse.langchain_parse module
  • autorag.data.parse.llamaparse module
  • autorag.data.parse.run module
  • autorag.data.parse.table_hybrid_parse module
  • Module contents
• autorag.data.qacreation package
  • Submodules
  • autorag.data.qacreation.base module
    • make_qa_with_existing_qa()
    • make_single_content_qa()
  • autorag.data.qacreation.llama_index module
    • async_qa_gen_llama_index()
    • distribute_list_by_ratio()
    • generate_answers()
    • generate_basic_answer()
    • generate_qa_llama_index()
    • generate_qa_llama_index_by_ratio()
    • parse_output()
    • validate_llama_index_prompt()
  • autorag.data.qacreation.ragas module
    • generate_qa_ragas()
  • autorag.data.qacreation.simple module
    • generate_qa_row()
    • generate_simple_qa_dataset()
  • Module contents
• autorag.data.utils package
  • Submodules
  • autorag.data.utils.util module
    • add_essential_metadata()
    • add_essential_metadata_llama_text_node()
    • corpus_df_to_langchain_documents()
    • get_file_metadata()
    • get_param_combinations()
    • get_start_end_idx()
    • load_yaml()
  • Module contents

Module contents

autorag.data.split_by_sentence_kiwi() → Callable[[str], List[str]]