使用 fastsafetensors 加载模型权重
使用 fastsafetensor 库可以通过利用 GPU 直接存储将模型权重加载到 GPU 内存。有关详细信息,请参阅 https://github.com/foundation-model-stack/fastsafetensors。要启用此功能,请将环境变量 USE_FASTSAFETENSOR 设置为 true。
使用 fastsafetensor 库可以通过利用 GPU 直接存储将模型权重加载到 GPU 内存。有关详细信息,请参阅 https://github.com/foundation-model-stack/fastsafetensors。要启用此功能,请将环境变量 USE_FASTSAFETENSOR 设置为 true。