领域大模型微调：医疗/法律/金融行业适配指南

领域微调三阶段：
1. 持续预训练 (CPT) → 注入领域知识
2. 监督微调 (SFT) → 学习领域任务格式
3. 偏好对齐 (DPO/RLHF) → 对齐专业标准

class MedicalDataBuilder:
    def __init__(self):
        self.data_sources = {
            "medical_records": "脱敏电子病历",
            "clinical_guidelines": "临床诊疗指南",
            "drug_database": "药品说明书数据库",
            "medical_literature": "PubMed 中文摘要",
            "qa_pairs": "医学考试题库",
        }
    
    def build_training_data(self):
        data = []
        
        # 1. 医学问答对
        for qa in self._load_medical_qa():
            data.append({
                "messages": [
                    {"role": "system", "content": "你是一个专业的医学顾问，请基于医学知识回答问题。注意：回答仅供参考，不能替代专业医生诊断。"},
                    {"role": "user", "content": qa["question"]},
                    {"role": "assistant", "content": qa["answer"]}
                ]
            })
        
        # 2. 病历摘要生成
        for record in self._load_medical_records():
            data.append({
                "messages": [
                    {"role": "system", "content": "请根据病历信息生成结构化的病历摘要。"},
                    {"role": "user", "content": record["raw_text"]},
                    {"role": "assistant", "content": record["structured_summary"]}
                ]
            })
        
        # 3. 药物交互检查
        for case in self._load_drug_interaction_cases():
            data.append({
                "messages": [
                    {"role": "system", "content": "你是一个药物安全专家。"},
                    {"role": "user", "content": f"患者正在服用{case['drug_a']}，可以同时服用{case['drug_b']}吗？"},
                    {"role": "assistant", "content": case["interaction_analysis"]}
                ]
            })
        
        return data

MEDICAL_SYSTEM_PROMPT = """你是一个医学知识助手。请遵循以下原则：

1. **安全性第一**：不确定时明确告知用户需要咨询医生
2. **循证医学**：回答应基于临床指南和循证医学证据
3. **不诊断**：不提供具体诊断，只提供医学知识
4. **引用来源**：关键信息应标注来源
5. **风险提示**：涉及药物、手术等内容时必须有风险提示

免责声明：本回答仅供参考，不构成医疗建议。请咨询专业医生获取诊断和治疗方案。"""

class LegalDataBuilder:
    def build_training_data(self):
        data = []
        
        # 1. 法律条文解释
        for case in self._load_law_explanations():
            data.append({
                "messages": [
                    {"role": "system", "content": "你是一个法律知识助手，请基于中国法律法规回答问题。"},
                    {"role": "user", "content": f"解释一下{case['law_name']}第{case['article']}条"},
                    {"role": "assistant", "content": case["explanation"]}
                ]
            })
        
        # 2. 合同审查
        for contract in self._load_contract_cases():
            data.append({
                "messages": [
                    {"role": "system", "content": "你是一个合同审查专家。请审查合同中的风险条款。"},
                    {"role": "user", "content": f"审查以下合同条款：\n{contract['clause']}"},
                    {"role": "assistant", "content": contract["review"]}
                ]
            })
        
        # 3. 案例分析
        for case in self._load_legal_cases():
            data.append({
                "messages": [
                    {"role": "system", "content": "你是一个法律分析专家。"},
                    {"role": "user", "content": f"案件描述：{case['facts']}\n请分析法律责任和可能的判决。"},
                    {"role": "assistant", "content": case["analysis"]}
                ]
            })
        
        # 4. 法律文书起草
        for doc in self._load_legal_documents():
            data.append({
                "messages": [
                    {"role": "system", "content": "你是一个法律文书起草专家。"},
                    {"role": "user", "content": f"请起草一份{doc['doc_type']}，基本情况：{doc['situation']}"},
                    {"role": "assistant", "content": doc["document"]}
                ]
            })
        
        return data

LEGAL_CONSTRAINTS = {
    "jurisdiction": "中华人民共和国",  # 明确法律辖区
    "disclaimer_required": True,       # 必须有免责声明
    "no_specific_advice": True,        # 不提供具体法律建议
    "cite_precisely": True,            # 条文引用必须精确到条、款、项
    "up_to_date_check": True,          # 必须确保法律条文是现行有效的
}

LEGAL_SYSTEM_PROMPT = """你是一个中国法律知识助手。

原则：
1. 仅适用中华人民共和国法律
2. 引用法律条文时必须精确到具体的条、款、项
3. 不提供具体的法律建议，只提供法律知识
4. 提醒用户咨询专业律师
5. 如果法律有最新修订，以最新版本为准

免责声明：本回答仅供参考，不构成法律建议。请咨询专业律师获取法律意见。"""

class FinanceDataBuilder:
    def build_training_data(self):
        data = []
        
        # 1. 财报分析
        for report in self._load_financial_reports():
            data.append({
                "messages": [
                    {"role": "system", "content": "你是一个财务分析专家。请基于财报数据进行分析。"},
                    {"role": "user", "content": f"分析以下财报数据：\n{report['data']}\n请评估公司的财务状况。"},
                    {"role": "assistant", "content": report["analysis"]}
                ]
            })
        
        # 2. 风险评估
        for case in self._load_risk_cases():
            data.append({
                "messages": [
                    {"role": "system", "content": "你是一个金融风险评估专家。"},
                    {"role": "user", "content": f"评估以下投资组合的风险：{case['portfolio']}"},
                    {"role": "assistant", "content": case["risk_assessment"]}
                ]
            })
        
        # 3. 合规检查
        for case in self._load_compliance_cases():
            data.append({
                "messages": [
                    {"role": "system", "content": "你是一个金融合规专家。请检查是否符合监管要求。"},
                    {"role": "user", "content": f"检查以下业务操作是否合规：{case['operation']}"},
                    {"role": "assistant", "content": case["compliance_check"]}
                ]
            })
        
        return data

class FinanceModelConfig:
    # 金融计算需要高精度
    use_high_precision_math = True
    
    # 需要实时数据接口
    required_apis = [
        "stock_price_api",
        "exchange_rate_api", 
        "bond_yield_api"
    ]
    
    # 严格的输出格式
    output_format = {
        "analysis": "分析正文",
        "data_sources": "数据来源",
        "risk_disclaimer": "风险提示",
        "confidence_level": "置信度",
        "assumptions": "假设条件"
    }
    
    FINANCE_SYSTEM_PROMPT = """你是一个金融分析助手。

原则：
1. 数据必须标注来源和时间
2. 投资建议必须有风险提示
3. 不提供具体的买卖建议
4. 基于公开信息分析，不使用内幕信息
5. 计算结果需标注假设条件

风险提示：投资有风险，本分析仅供参考，不构成投资建议。"""

# 对于大多数垂直领域，推荐的微调方案：
RECOMMENDED_PIPELINE = {
    "step_1_cpt": {
        "description": "持续预训练注入领域知识",
        "data": "100K 领域文本（论文、法规、报告等）",
        "method": "全参数 CPT（如果资源允许）或 LoRA CPT",
        "duration": "12-24h"
    },
    "step_2_sft": {
        "description": "指令微调学习任务格式",
        "data": "10K-20K 高质量问答对",
        "method": "LoRA SFT",
        "duration": "2-4h"
    },
    "step_3_dpo": {
        "description": "偏好对齐",
        "data": "2K-5K 偏好对",
        "method": "DPO",
        "duration": "1-2h"
    },
    "step_4_eval": {
        "description": "全面评估",
        "metrics": ["领域准确率", "安全性", "合规性"],
        "method": "自动评估 + 人工抽检"
    }
}

class ComplianceChecker:
    """领域模型合规检查"""
    
    def check_medical(self, model_outputs: list):
        checks = {
            "no_diagnosis": 0,        # 不提供诊断
            "no_prescription": 0,     # 不开处方
            "has_disclaimer": 0,      # 有免责声明
            "recommends_doctor": 0,   # 建议就医
        }
        
        for output in model_outputs:
            if not re.search(r'诊断.{0,10}是', output):
                checks["no_diagnosis"] += 1
            if not re.search(r'处方|开药', output):
                checks["no_prescription"] += 1
            if '免责声明' in output or '仅供参考' in output:
                checks["has_disclaimer"] += 1
            if '咨询' in output and '医生' in output:
                checks["recommends_doctor"] += 1
        
        n = len(model_outputs)
        return {k: v/n for k, v in checks.items()}
    
    def check_legal(self, model_outputs: list):
        checks = {
            "jurisdiction_correct": 0,   # 法律辖区正确
            "article_cited_accurately": 0, # 条文引用准确
            "has_disclaimer": 0,
            "no_specific_advice": 0,
        }
        # ... 类似实现