start-lfm25-server.sh

#!/bin/bash

# LFM2.5-1.2B-Thinking-GGUF 部署脚本
# 使用 llama.cpp 启动 HTTP API 服务器

set -e

# 配置变量
MODEL_FILE="LFM2.5-1.2B-Thinking-Q4_K_M.gguf"
HOST="0.0.0.0"
PORT="7860"
CTX_SIZE="4096"
THREADS="-1"  # 自动检测CPU核心数
TEMPERATURE="0.7"
PREDICT_TOKENS="2048"

# 检查模型文件是否存在
if [ ! -f "$MODEL_FILE" ]; then
    echo "❌ 错误: 模型文件 $MODEL_FILE 不存在"
    echo "正在尝试下载模型文件..."
    
    # 尝试下载模型
    echo "📥 下载 LFM2.5-1.2B-Thinking-Q4_K_M.gguf (731MB)..."
    if curl -L -o "$MODEL_FILE" \
        "https://huggingface.co/LiquidAI/LFM2.5-1.2B-Thinking-GGUF/resolve/main/LFM2.5-1.2B-Thinking-Q4_K_M.gguf" \
        --connect-timeout 60 \
        --max-time 300; then
        echo "✅ 模型下载完成"
    else
        echo "❌ 模型下载失败，请手动下载后重试"
        echo "手动下载命令:"
        echo "curl -L -o '$MODEL_FILE' 'https://huggingface.co/LiquidAI/LFM2.5-1.2B-Thinking-GGUF/resolve/main/LFM2.5-1.2B-Thinking-Q4_K_M.gguf'"
        exit 1
    fi
fi

echo "🚀 启动 LFM2.5-1.2B-Thinking HTTP 服务器..."
echo "📁 模型文件: $MODEL_FILE"
echo "🌐 服务地址: http://$HOST:$PORT"
echo "💬 API 端点: http://$HOST:$PORT/v1/chat/completions"
echo ""

# 启动服务器
exec llama-server \
    --model "$MODEL_FILE" \
    --host "$HOST" \
    --port "$PORT" \
    --ctx-size "$CTX_SIZE" \
    --threads "$THREADS" \
    --temp "$TEMPERATURE" \
    --n-predict "$PREDICT_TOKENS" \
    --log-disable \
    --verbose-prompt \
    --api-key "lfm25-api-key"

echo "服务器已启动，按 Ctrl+C 停止服务"