<aside> 💡
pyproject 规范
</aside>
pycharm中自带包管理器,也可以配合Anaconda使用。
使用anaconda就不用自己安装python,虚拟环境可以设置版本。
pip 也是一种包管理器。
pip是python专用的包管理器,使用python解释器运行。
./python -m pip install tensorrt_llm==0.7 --extra-index-url <https://pypi.nvidia.com> --extra-index-url <https://download.pytorch.org/whl/cu121>
这条语句指定了python解释器(cmd所在的路径下的python.exe)。这个python解释器已经安装了pip,-m
指令实现了这一调用。
<aside> 💡 C:\NVIDIA\chat-with-RTX\env_nvd_rag\python.exe TensorRT-LLM-0.7.0\examples\llama\build.py --model_dir C:\NVIDIA\Mistral-7B-Chat-Int4\mistral7b_hf_tokenizer\tokenizer.json --quant_ckpt_path C:\NVIDIA\Mistral-7B-Chat-Int4\mistral_tp1_rank0.npz --dtype float16 --remove_input_padding --use_gpt_attention_plugin float16 --enable_context_fmha --use_gemm_plugin float16 --use_weight_only --weight_only_precision int4_awq --per_group --output_dir C:\NVIDIA\chat-with-RTX\RAG\trt-llm-rag-windows-main\model\mistral --world_size 1 --tp_size 1 --parallel_build --max_input_len 7168 --max_batch_size 1 --max_output_len 1024
</aside>