C#机器入门学习之判断日报是否合格详解

Sentiment SentimentText
 第一天上班 无事
 完成了领导的安排任务 
 编写了一些代码然后写了一些杂七杂八的文档 
 和一般的码农做了一样的事情
 和产品经理一起做了一些项目上的事情 
 早上来的时候就开始讨论需求，然后开始写代码，快下班的时候完成了整个过程的文档分享
 ***项目的整体编排会议，设计图的首页以及我的个人中心制作 
 **项目需求的对接，需求的梳理，实体结构的定义，数据库的迁移，脑图的完善
 1、**项目的模板消息代码编写，2、**项目管理后台的模板发送完善，

/// <summary>

 /// 输入数据集类

 /// </summary>

 public class SentimentData

 {

 /// <summary>

 /// 日志是否合格的值（0：为合格，1：不合格）

 /// </summary>

 [Column(ordinal: "0", name: "Label")]

 public float Sentiment;

 

 /// <summary>

 /// 日报内容

 /// </summary>

 [Column(ordinal: "1")]

 public string SentimentText;

 }

 

 /// <summary>

 /// 预测结果集类

 /// </summary>

 public class SentimentPrediction

 {

 /// <summary>

 /// 预测值（是否合格）

 /// </summary>

 [ColumnName("PredictedLabel")]

 public bool Prediction { get; set; }

 

 /// <summary>

 /// 或然率（结果分布概率）

 /// </summary>

 [ColumnName("Probability")]

 public float Probability { get; set; }
 }

private static void SaveModelAsFile(MLContext mlContext, ITransformer model)
 {
  using (var fs = new FileStream(_modelPath, FileMode.Create, FileAccess.Write, FileShare.Write))
  mlContext.Model.Save(model, fs);
  Console.WriteLine("模型保存路径为{0}", _modelPath);
  Console.ReadLine();
 }

public static ITransformer Train(MLContext mlContext, string dataPath)
 {
  IDataView dataView = _textLoader.Read(dataPath);
  //数据特征化（按照管道所需的格式转换数据）
  var pipeline = mlContext.Transforms.Text.FeaturizeText(inputColumnName: "SentimentText", outputColumnName: "Features")
  //根据学习算法添加学习管道
  .Append(mlContext.BinaryClassification.Trainers.FastTree(numLeaves: 50, numTrees: 50, minDatapointsInLeaves: 20));
  //得到模型
  var model = pipeline.Fit(dataView);
  Console.WriteLine();
  //返回定型模型
  return model;
 }

public static void Evaluate(MLContext mlContext, ITransformer model)
 {
  var dataView = _textLoader.Read(_testDataPath);
  Console.WriteLine("===============用测试数据评估模型的准确性===============");
  var predictions = model.Transform(dataView);
  //评测定型模型的质量
  var metrics = mlContext.BinaryClassification.Evaluate(predictions, "Label");
  Console.WriteLine();
  Console.WriteLine("模型质量量度评估");
  Console.WriteLine("--------------------------------");
  Console.WriteLine($"精度: {metrics.Accuracy:P2}");
  Console.WriteLine($"Auc: {metrics.Auc:P2}");
  Console.WriteLine("=============== 模型结束评价 ===============");
  Console.ReadLine();
//评测完成之后开始保存定型的模型
  SaveModelAsFile(mlContext, model);
 }

private static void Predict(MLContext mlContext, ITransformer model)
 {
 //创建包装器
  var predictionFunction = model.CreatePredictionEngine<SentimentData, SentimentPrediction>(mlContext);
  SentimentData sampleStatement = new SentimentData
  {
  SentimentText = "爱车新需求开发；麦扣日志监控部分页面数据绑定；"
  };
//预测结果
  var resultprediction = predictionFunction.Predict(sampleStatement);
  Console.WriteLine();
  Console.WriteLine("===============单个测试数据预测 ===============");
  Console.WriteLine();
  Console.WriteLine($"日报内容: {sampleStatement.SentimentText} | 是否合格: {(Convert.ToBoolean(resultprediction.Prediction) ? "合格" : "不合格")} | 符合率: {resultprediction.Probability} ");
  Console.WriteLine("=============== 预测结束 ===============");
  Console.WriteLine();
  Console.ReadLine();
 }

public static void PredictWithModelLoadedFromFile(MLContext mlContext)
  {
   IEnumerable<SentimentData> sentiments = new[]
      {
       new SentimentData
      {
      SentimentText = "1、完成爱车年卡代码编写 2、与客户完成需求对接"
      },
       new SentimentData
      {
       SentimentText = "没有工作内容"
      }
      };

   ITransformer loadedModel;
using (var stream = new FileStream(_modelPath, FileMode.Open, FileAccess.Read, FileShare.Read))
   {
    loadedModel = mlContext.Model.Load(stream);
   }
   // 创建预测（也称之为创建预测房屋）   
var sentimentStreamingDataView = mlContext.Data.ReadFromEnumerable(sentiments);
   var predictions = loadedModel.Transform(sentimentStreamingDataView);
   // 使用模型预测结果值为1（不合格）还是0 （合格） 
  var predictedResults = mlContext.CreateEnumerable<SentimentPrediction>(predictions, reuseRowObject: false);
   Console.WriteLine();
   Console.WriteLine("=============== 多样本加载模型的预测试验 ===============");
   var sentimentsAndPredictions = sentiments.Zip(predictedResults, (sentiment, prediction) => (sentiment, prediction));
   foreach (var item in sentimentsAndPredictions)
   {
    Console.WriteLine($"日报内容: {item.sentiment.SentimentText} | 是否合格: {(Convert.ToBoolean(item.prediction.Prediction) ? "合格" : "不合格")} | 符合率: {item.prediction.Probability} ");
   }
   Console.WriteLine("=============== 预测结束 ===============");
   Console.ReadLine();
  }

public static void Main(string[] args)
  {
//创建一个MLContext，为ML作业提供一个上下文
   MLContext mlContext = new MLContext(seed: 0);
//初始化_textLoader以将其重复应用于所需要的数据集
   _textLoader = mlContext.Data.CreateTextLoader(
  columns: new TextLoader.Column[]
  {
  new TextLoader.Column("Label", DataKind.Bool,0),
  new TextLoader.Column("SentimentText", DataKind.Text,1)
  },
   separatorChar: '\t',
   hasHeader: true
   );
 //定型模型
   var model = Train(mlContext, _trainDataPath);
//评测模型
   Evaluate(mlContext, model);
//单个数据预测
   Predict(mlContext, model);
   //批处理预测数据
   PredictWithModelLoadedFromFile(mlContext);
  }