机器学习入门

1、机器学习是什么

2.Classification workflow

2.1、Overview

img

2.2、Import Data(导入数据)

用到的matlab函式

readtable("M.txt");
plot();
axis equal;    %使横纵比一样

M.txt类似如下:

img

2.3、Process Data(处理数据)

2.4、Extract Features(特征提取)

img

通过计算不同的特征来辨别字母

• 例如J和M，J会窄一点，而M近似于square，所以可以通过Y轴范围和X轴范围之比来确定

• 相比于J和M，V会写的快一点，所以可以把duration当作特征值来辨别

在这里我们计算两个特征

• letter的长宽比：AspectRatio

• letter的书写时间：Duration

AspectRatio = range(letter.Y)/range(letter.X);
Duration = letter.Time(end) - letter.Time(1);

%range(x),  x is an array
%means  max(x)-min(x)

img

featuredata.mat:

img

通过scatter和gscatter两个函式来visualization（散点图）

load featuredata.mat
features

scatter(features.AspectRatio,features.Duration);

%gscatter 是可以通过第三个parameter来展现不同的颜色
gscatter(features.AspectRatio,features.Duration,features.Character)

scatter:

img

gscatter:

img

2.5、Build a Model

img

img

在本例中，我们应用KNN模型，并用matlab里面自带的KNN分类器

• 关于KNN（https://zhuanlan.zhihu.com/p/25994179）

加载table

load featuredata.mat
features    %features包括有两个维度的特征以及相应的            %label，这里的label是Character

img

用matlab的函式构造模型并预测

knnmodel = fitcknn(features, "Character");
newdata = [4,1.2];    %parameter1是AspectRatio ...
predicted = predict(knnmodel, newdata);

调整K邻近的K参数

img

预测值

img

2.6、Evaluate Model（评价模型）

在本例中，我们有三种evaluate的方式

• accuracy

• misclassrate

• confusion matrix（混淆矩阵）

我们通过training data得到model

再通过test data来evaluate 我们的model好坏

这里的混淆矩阵用到了matlab的函式

%ytrue is a vector of the known classes
%ypred is a vector of the predicted classes
confusionchart(ytrue, ypred);

confusion matrix

img

img

2.7、Review

这次我们用的是2个特征，来辨别13个字母

我们把所有流程回顾

img

load featuredata13letters.mat
features
testdata

gscatter(features.AspectRatio,features.Duration,features.Character)
xlim([0 10])

knnmodel = fitcknn(features,"Character","NumNeighbors",5);
predictions = predict(knnmodel,testdata);

misclass = sum(predictions ~= testdata.Character)/numel(predictions)
confusionchart(testdata.Character,predictions);

gscatter:

img

confusion matrix

img

3.Importing and Preprocessing Data

3.2、Creating Datastores

用到了三个matlab函式

• letterds = datastore("file")

• data = read(letterds)

• data = readall(letterds)

%读取xxxx_M_xxxx.txt的文件
letterds = datastore("*_M_*.txt");

%读取letterds的第一个文件
data = read(letterds);

%读取letterds的第二个文件
data = read(letterds);

%读取letterds的所有文件
data = readall(letterds);

3.3、Adding a Data Transformation

在读datastore之前先将其transformation

• 例如normalization

%load files to datastore
letters = datastore("*_M_*.txt");

preprocd = transform(letters, @scale);
%注意这个function 要在transform后面
function data = scale(data)
    data.Time = (data.Time - data.Time(1))/1000;
    data.X = 1.5*data.X;
    %omitnan表示计算mean时ignore掉NAN
    data.X = data.X - mean(data.X,"omitnan");
    data.Y = data.Y - mean(data.Y,"omitnan");
end

supplement

normalization:

• [0~1]

• [-1~1]

img

4.Engineering Features(工程特征)

4.1、Types of Signals

4.2、Calculating Summary Statistics

Statistical Functions

Measures of Central Tendency

Function	Description
mean	Arithmetic mean
median	Median (middle) value
mode	Most frequent value
trimmean	Trimmed mean (mean, excluding outliers)
geomean	Geometric mean
harmean	Harmonic mean

Measures of Spread

Function	Description
range	Range of values (largest – smallest)
std	Standard deviation
var	Variance
mad	Mean absolute deviation
iqr	Interquartile range (75th percentile minus 25th percentile)

Measures of Shape

Function	Description
skewness	Skewness (third central moment)
kurtosis	Kurtosis (fourth central moment)
moment	Central moment of arbitrary order

• the median is less sensitive to outliers than the mean

• the MAD(mean absolute deviation) is:

  

4.3、Finding Peaks

使用matlab的函式来寻找局部maxima和minima

• [idx, prom] = islocalmin(X, options)

• idx is logical array

• prom是取到局部最大（最小）的具体值

img

通过threshold来去除噪点，因为判断最大最小值，只要看这个点的两边就ok

例如：

4.4、Computing Derivatives(计算导数)

用到matlab的函式

• diff(X) ---> [x2-x1,x3-x2,....]

• X = standardizeMissing(X, value) ---> 将value转成NAN

在本例中，我们通过字母的X轴和Time来计算在书写速率velocity

并用standardizeMissing来去除计算出inf的影响

4.5、Calculating Correlations

用到matlab的函式：

• corr(X,Y) --->求X,Y的相关系数

  

• 衡量X,Y之间的线性相关度

image-20210322001408361

计算X和Y的相关系数，得出NAN，是因为有MISSING DATA

接下来用...来去掉missing data

corr(x,y,"Rows","complete")

在本例中v2.X和v2.Y为22*1的列向量

img

M = [v2.X(1:11),v2.Y(1:11),v2.X(12:22),v2.Y(12:22)];

img

Cmat = corr(M,"Rows","complete");

Cmat:

img

• Cmat(i,j)表示第i列和第j列的相关系数

• 可以看到Cmat是对称矩阵