#   目录中包含 300+ 个模型，其中 50+ 个针对 RAG 优化的 BLING、DRAGON 和 Industry BERT 模型
#   全面支持 GGUF、OpenVINO、Onnxruntime、HuggingFace、Sentence Transformers 和主要的基于 API 的模型
#   易于扩展以添加自定义模型 - 参见示例

from llmware.models import ModelCatalog
from llmware.prompts import Prompt

#   所有模型都通过 ModelCatalog 访问
models = ModelCatalog().list_all_models()

#   要使用 ModelCatalog 中的任何模型 - 使用 "load_model" 方法并传递 model_name 参数
my_model = ModelCatalog().load_model("llmware/bling-phi-3-gguf")

#   调用模型进行推理
output = my_model.inference("what is the future of AI?", add_context="Here is the article to read")

#   调用模型进行流式输出
for token in my_model.stream("What is the future of AI?"):
    print(token, end="")

#   将模型集成到 Prompt 中
prompter = Prompt().load_model("llmware/bling-tiny-llama-v0")
response = prompter.prompt_main("what is the future of AI?", context="Insert Sources of information")

from llmware.library import Library

#   解析和文本分块一组文档（pdf、pptx、docx、xlsx、txt、csv、md、json/jsonl、wav、png、jpg、html）

#   步骤 1 - 创建一个知识库，这是“知识库容器”结构
#          - 知识库同时具有文本集合（数据库）资源和文件资源（例如，llmware_data/accounts/{library_name}）
#          - 嵌入和查询是针对知识库运行的

lib = Library().create_new_library("my_library")

#   步骤 2 - add_files 是通用摄取函数 - 指向包含混合文件类型的本地文件文件夹
#           - 文件将根据文件扩展名路由到正确的解析器，进行解析、文本分块并索引到文本集合数据库中

lib.add_files("/folder/path/to/my/files")

#   在知识库上安装嵌入 - 选择一个嵌入模型和向量数据库
lib.install_new_embedding(embedding_model_name="mini-lm-sbert", vector_db="milvus", batch_size=500)

#   在同一知识库上添加第二个嵌入（混合匹配模型 + 向量数据库）
lib.install_new_embedding(embedding_model_name="industry-bert-sec", vector_db="chromadb", batch_size=100)

#   易于为不同的项目和组创建多个知识库

finance_lib = Library().create_new_library("finance_q4_2023")
finance_lib.add_files("/finance_folder/")

hr_lib = Library().create_new_library("hr_policies")
hr_lib.add_files("/hr_folder/")

#   获取包含关键元数据的知识库卡片 - 文档、文本块、图像、表格、嵌入记录
lib_card = Library().get_library_card("my_library")

#   查看所有知识库
all_my_libs = Library().get_all_library_cards()

from llmware.retrieval import Query
from llmware.library import Library

#   步骤 1 - 加载先前创建的知识库
lib = Library().load_library("my_library")

#   步骤 2 - 创建一个查询对象并传递知识库
q = Query(lib)

#   步骤 3 - 运行多种不同的查询（示例中还有许多其他选项）

#   基本文本查询
results1 = q.text_query("text query", result_count=20, exact_mode=False)

#   语义查询
results2 = q.semantic_query("semantic query", result_count=10)

#   将文本查询限制在知识库中的某些文档，并与查询进行“精确”匹配
results3 = q.text_query_with_document_filter("new query", {"file_name": "selected file name"}, exact_mode=True)

#   要应用特定的嵌入（如果知识库上有多个），请在创建查询对象时传递名称
q2 = Query(lib, embedding_model_name="mini_lm_sbert", vector_db="milvus")
results4 = q2.semantic_query("new semantic query")

from llmware.prompts import Prompt
from llmware.retrieval import Query
from llmware.library import Library

#   构建一个提示
prompter = Prompt().load_model("llmware/bling-tiny-llama-v0")

#   添加一个文件 -> 文件被解析、文本分块、按查询过滤，然后打包为模型就绪的上下文，
#   如果需要，会分批处理以适应模型上下文窗口

source = prompter.add_source_document("/folder/to/one/doc/", "filename", query="fast query")

#   将查询结果（来自 Query）附加到提示中
my_lib = Library().load_library("my_library")
results = Query(my_lib).query("my query")
source2 = prompter.add_source_query_results(results)

#   对知识库运行新查询并直接加载到提示中
source3 = prompter.add_source_new_query(my_lib, query="my new query", query_type="semantic", result_count=15)

#   使用“带来源的提示”运行推理
responses = prompter.prompt_with_source("my query")

#   运行事实核查 - 推理后
fact_check = prompter.evidence_check_sources(responses)

#   查看来源材料（分批的“模型就绪”并附加到提示）
source_materials = prompter.review_sources_summary()

#   查看完整的提示历史
prompt_history = prompter.get_current_history()