matlab--数据分析和统计精品资料.doc
数据分析和统计面向列的数据集 这年头似乎十分风行”面向”这个词，这儿故也套用，其英文为"Column-Oriented Data Sets",可理解为MatLab按列的存储方式来分析数据,下面是一个例子: Time Location 1 Location 2 Location 3 01h00 11 11 9 02h00 713 11 03h00 14 17 20 04h00 11 13 9 05h00 43 51 69 06h00 38 46 76 07h00 61 132186 08h00 75 135180 09h00 38 88 115 10h00 28 36 55 11h00 12 12 14 12h00 18 27 30 13h00 18 19 29 14h00 17 15 18 15h00 19 36 48 16h00 32 47 10 17h00 42 65 92 18h00 57 66 151 19h00 44 55 90 20h00 114 145 257 21h00 35 58 68 22h00 11 12 15 23h00 13 915 24h00 10 9 7 以上数据被保存在一个称为count.dat的文件中11 11 9 7 13 11 14 17 20 11 13 9 43 51 69 38 46 76 61 132 186 75 135 180 38 88 115 28 36 55 12 12 14 18 27 30 18 19 29 17 15 18 19 36 48 32 47 10 42 65 92 57 66 151 44 55 90 114 145 257 35 58 68 11 12 15 13 9 15 10 9 7下面，我们调入此文件，并看看文件的一些参数load count.datn,p = size(count) n = 24 p = 3 创建一个时间轴后，我们可以把图画出来：t = 1:n;set(0,'defaultaxeslinestyleorder,-|-|-.) set(0,'defaultaxescolororder,0 0 0) plot(t,count), legend('Location 1','Location 2','Location 3',0) xlabel('Time'), ylabel('Vehicle Count'), grid on 足以证明，以上是对个对象的次观测基本数据分析函数（一定注意是面向列的） 继续用上面的数据，其每列最大值均值及偏差分别为：mx = max(count) mu = mean(count) sigma = std(count) mx = 114 145 257 mu = 32.0000 46.5417 65.5833 sigma = 25.3703 41.4057 68.0281重载函数，还可以定位出最大最小值的位置mx,indx = min(count) mx = 7 9 7 indx = 2 23 24试试看，你能看懂下面的命令是干什么的吗？n,p = size(count) e = ones(n,1) x = count e*mu点这看看答案！下面这句命令则找出了整个矩阵的最小值:min(count(:)ans = 7 协方差及相关系数下面,我们来看看第一列的方差:cov(count(:,1) ans = 643.6522cov()函数作用于矩阵,则会计算其协方差矩阵.corrcoef()用于计算相关系数,如:corrcoef(count)ans = 1.0000 0.9331 0.9599 0.9331 1.0000 0.9553 0.9599 0.9553 1.0000 数据的预处理未知数据NaN(Not a Number-不是一个数)被定义为未经定义的算式的结果,如 0/0.在处理数据中,NaN常用来表示未知数据或未能获得的数据.所有与NaN有关的运算其结果都是NaN.a = magic(3); a(2,2) = NaN a = 8 1 6 3 NaN 7 4 9 2sum(a) ans = 15 NaN 15 在做统计时，常需要将NaN转化为可计算的数字或去掉,以下是几种方法:注:判断一个值是否为NaN,只能用 isnan(),而不可用 x=NaN; i = find( isnan(x);x = x(i) 先找出值不是NaN的项的下标,将这些元素保留x = x(find( isnan(x)同上,去掉NaNx = x( isnan(x);更快的做法x(isnan(x) = ;消掉NaNX(any(isnan(X),:) = ;把含有NaN的行都去掉用此法可以从数据中去掉不相关的数据,看看下面的命令是干什么用的:mu = mean(count); sigma = std(count);n,p = size(count) outliers = abs(count mu(ones(n, 1),:) > 3*sigma(ones(n, 1),:); nout = sum(outliers) nout = 1 0 0 count(any(outliers'),:) = ;点这看看答案 回归与曲线拟合我们经常需要把观测到的数据表达为函数，假如有如下的对时间的观测：t = 0 .3 .8 1.1 1.6 2.3; y = 0.5 0.82 1.14 1.25 1.35 1.40; plot(t,y,o), grid on多项式回归由图可以看出应该可以用多项式来表达：y=a0+a1*t+a2*t2系数a0,a1,a2可以由最小平方拟合来确定，这一步可由反除号来完成解下面的三元方程组可得： X = ones(size(t) t t.2 X = 1.0000 00 1.0000 0.3000 0.0900 1.0000 0.8000 0.6400 1.0000 1.1000 1.2100 1.0000 1.6000 2.5600 1.0000 2.3000 5.2900 a = Xy a = 0.5318 0.9191 0.2387 a即为待求的系数，画图比较可得T = (0:0.1:2.5); Y = ones(size(T) T T.2*a; plot(T,Y,'',t,y,'o',), grid on结果令人失望，但我们可以增加阶数来提高精确度，但更明智的选择是用别的方法线性参数回归形如：y=a0+a1*exp(-t)+a2*t*exp(-t)计算方法同上：X = ones(size(t) exp( t) t.*exp( t); a = Xy a = 1.3974 0.8988 0.4097 T = (0:0.1:2.5)' Y = ones(size(T) exp( T) T.exp( T)*a; plot(T,Y,'',t,y,'o'), grid on 看起来是不是好多了！例子研究：曲线拟合下面我们以美国人口普查的数据来研究一下有关曲线拟合的问题（MatLab是别人的,教学文档是别人的,例子也是别人的，我只是一个翻译而已）load census这样我们得到了两个变量，cdate是1790至1990年的时间列向量(10年一次),pop是相应人口数列向量.上一小节所讲的多项式拟合可以用函数polyfit()来完成,数字指明了阶数p = polyfit(cdate,pop,4) Warning: Matrix is close to singular or badly scaled. Results may be inaccurate. RCOND = 5.429790e20 p = 1.0e+05 * 0.0000 0.0000 0.0000 0.0126 6.0020产生警告的原因是计算中的cdata值太大，在计算中的Vandermonde行列式使变换产生了问题，解决的方法之一是使数据标准化预处理：标准化数据数据的标准化是对数据进行缩放，以使以后的计算能更加精确，一种方法是使之成为0均值：sdate = (cdate mean(cdate)./std(cdate)现在再进行曲线拟合就没事了！p = polyfit(sdate,pop,4) p = 0.7047 0.9210 23.4706 73.8598 62.2285pop4 = polyval(p,sdate); plot(cdate,pop4,'',cdate,pop,'+'), grid on 在上面的数据标准化中，也可以有别的算法，如令年的人口数为余量分析p1 = polyfit(sdate,pop,1);pop1 = polyval(p1,sdate);plot(cdate,pop1,'',cdate,pop,'+')res1 = pop pop1;figure, plot(cdate,res1,'+')p = polyfit(sdate,pop,2);pop2 = polyval(p,sdate);plot(cdate,pop2,'',cdate,pop,'+')res2 = pop pop2;figure, plot(cdate,res2,+)p = polyfit(sdate,pop,4);pop4 = polyval(p,sdate);plot(cdate,pop4,'',cdate,pop,'+')res4 = pop pop4;figure, plot(cdate,res4,'+')可以看出，多项式拟合即使提高了阶次也无法达到令人满意的结果指数拟合从人口增长图可以发现人数的增长基本是呈指数增加的，因此我们可以用年份的对数来进行拟合，这儿，年数是标准化后的！logp1 = polyfit(sdate,log10(pop),1); logpred1 = 10.polyval(logp1,sdate); semilogy(cdate,logpred1,'',cdate,pop,'+'); grid onlogres2 = log10(pop) polyval(logp2,sdate);plot(cdate,logres2,'+')上面的图不令人满意，下面，我们用二阶的对数分析：logp2 = polyfit(sdate,log10(pop),2); logpred2 = 10.polyval(logp2,sdate); semilogy(cdate,logpred2,'',cdate,pop,'+'); grid onr = pop 10.(polyval(logp2,sdate);plot(cdate,r,'+')这种余量分析比多项式拟合的余量分析图案要随机的多（没有很强的规律性），可以预见，随着人数的增加，余粮所反映的不确定度也在增加，但总的说来，这种拟合方式要强好多！误差边界误差边界常用来反映你所用的拟合方式是否适用于数据，为得到误差边界，只需在polyfit()中传递第二个参数，并将其送入polyval().下面是一个二阶多项式拟合模型,年份已被标准化,下面的代码用了2,对应于95%的可置信度:p2,S2 = polyfit(sdate,pop,2); pop2,del2 = polyval(p2,sdate,S2); plot(cdate,pop,'+',cdate,pop2,'g',cdate,pop2+2*del2,'r:',. cdate,pop22*del2,'r:'), grid on 差分方程和滤波MatLab中的差分和滤波基本都是对向量而言的，向量则是存储取样信号或序列的函数y = filter(b, a, x)将用a,b描述的滤波器处理向量x,然后将其存储在向量y中, filter()函数可看为是一差分方程a1y(n)=b1*x(1)+b2*x(2)+.-a2*y(2)-.如有以下差分方程:y(n)=1/4*x(n)+1/4*x(n-1)+1/4*x(n-2)+1/4*x(n-3),则a = 1; b = 1/4 1/4 1/4 1/4; 我们载入数据,取其第一列,并计算有:load count.datx = count(:,1);y = filter(b,a,x);t = 1:length(x); plot(t,x,'.',t,y,''), grid on legend('Original Data','Smoothed Data',2) 实现所表示的就是滤波后的数据,它代表了4小时的平均车流量MatLab的信号处理工具箱中提供了很多用来滤波的函数,可用来处理实际问题!快速傅立叶变换(FFT)傅立叶变换能把信号按正弦展开成不同的频率值,对于取样信号,用的是离散傅立叶变换.FFT是离散傅立叶变换的一种高速算法,在信号和图像处理中有极大的用处!fft离散傅立叶变换fft2二维离散傅立叶变换fftnn维离散傅立叶变换ifft离散傅立叶反变换ifft2二维离散傅立叶反变换ifftnn维离散傅立叶反变换abs幅度angle相角unwrap相位按弧度展开,大于的变换为2的补角fftshift把零队列移至功率谱中央cplxpair把数据排成复数对nextpow2下两个更高的功率向量x的FFT可以这样求:x = 4 3 7 9 1 0 0 0y = fft(x)y = 6.0000 11.48532.7574i 2.0000 12.0000i 5.4853+11.2426i 18.0000 5.4853 11.2426i 2.0000+12.0000i 11.4853 +2.7574i x虽然是实数,但y是复数,其中,第一个是因为它是常数相加的结果,第五个则对应于奈奎斯特频率,后三个数是由于负频率的影响,它们是前面三个数的共轭值!下面,让我们来验证一下太阳黑子活动周期是11年!Wolfer数记录了300年太阳黑子的数量及大小:load sunspot.dat year = sunspot(:,1); wolfer = sunspot(:,2); plot(year,wolfer) title(Sunspot Data)现在来看看其FFT:Y = fft(wolfer);Y的幅度是功率谱,画出功率谱和频率的对应关系就得出了周期图,去掉第一点,因为他只是所有数据的和,画图有:N = length(Y); Y(1) = ; power = abs(Y(1:N/2).2; nyquist = 1/2; freq = (1:N/2)/(N/2)*nyquist; plot(freq,power), grid on xlabel(cycles/year) title(Periodogram)上面的图看起来不大方便,下面我们画出频谱-周期图period = 1./freq; plot(period,power), axis(0 40 0 2e7), grid on ylabel(Power) xlabel(Period(Years/Cycle)为了得出精确一点的解,如下:mp index = max(power); period(index) ans = 11.0769变换后的幅度和相位abs()和angle()是用来计算幅度和相位的先创建一信号,再进行分析,unwarp()把相位大于的变换为2的补角:t = 0:1/99:1; x = sin(2*pi*15*t) + sin(2*pi*40*t);y = fft(x);m = abs(y); p = unwrap(angle(y); f = (0:length(y)1)'*99/length(y); subplot(2,1,1), plot(f,m), ylabel('Abs. Magnitude'), grid on subplot(2,1,2), plot(f,p*180/pi) ylabel('Phase Degrees'), grid on xlabel('Frequency Hertz') 可以发现幅度曲线关于奈奎斯特频率对称,只有0-50Hz的信息是有用的!FFT的长度与速度可以为FFT加上第二个参数,告诉MatLab这是n点FFT.如y = fft(x,n),若x长度大于n,软件自动补0,否则截取x.若:1. n为2的幂,软件将执行基2快速傅立叶算法,这时的运算速度是最快的2. n为合数,软件将n分解为素数来算,计算量与n的值有关.n为1013将比1000点的速度慢的多!3. n为素数,软件执行DFT的公式,此时最慢!此文出于: 非本人所写! 附录资料：不需要的可以自行删除各类滤波器的MATLAB程序一、 理想低通滤波器IA=imread('lena.bmp');f1,f2=freqspace(size(IA),'meshgrid');Hd=ones(size(IA);r=sqrt(f1.2+f2.2);Hd(r>0.2)=0;Y=fft2(double(IA);Y=fftshift(Y);Ya=Y.*Hd;Ya=ifftshift(Ya);Ia=ifft2(Ya);figuresubplot(2,2,1),imshow(uint8(IA);subplot(2,2,2),imshow(uint8(Ia);figuresurf(Hd,'Facecolor','interp','Edgecolor','none','Facelighting','phong'); 二、理想高通滤波器IA=imread('lena.bmp');f1,f2=freqspace(size(IA),'meshgrid');Hd=ones(size(IA);r=sqrt(f1.2+f2.2);Hd(r<0.2)=0;Y=fft2(double(IA);Y=fftshift(Y);Ya=Y.*Hd;Ya=ifftshift(Ya);Ia=real(ifft2(Ya);figuresubplot(2,2,1),imshow(uint8(IA);subplot(2,2,2),imshow(uint8(Ia);figuresurf(Hd,'Facecolor','interp','Edgecolor','none','Facelighting','phong'); 三、 Butterworth低通滤波器IA=imread('lena.bmp');f1,f2=freqspace(size(IA),'meshgrid');D=0.3;r=f1.2+f2.2;n=4;for i=1:size(IA,1) for j=1:size(IA,2) t=r(i,j)/(D*D); Hd(i,j)=1/(tn+1); endendY=fft2(double(IA);Y=fftshift(Y);Ya=Y.*Hd;Ya=ifftshift(Ya);Ia=real(ifft2(Ya);figuresubplot(2,2,1),imshow(uint8(IA);subplot(2,2,2),imshow(uint8(Ia);figuresurf(Hd,'Facecolor','interp','Edgecolor','none','Facelighting','phong'); 四、 Butterworth高通滤波器IA=imread('lena.bmp');f1,f2=freqspace(size(IA),'meshgrid');D=0.3;r=f1.2+f2.2;n=4;for i=1:size(IA,1) for j=1:size(IA,2) t=(D*D)/r(i,j); Hd(i,j)=1/(tn+1); endendY=fft2(double(IA);Y=fftshift(Y);Ya=Y.*Hd;Ya=ifftshift(Ya);Ia=real(ifft2(Ya);figuresubplot(2,2,1),imshow(uint8(IA);subplot(2,2,2),imshow(uint8(Ia);figuresurf(Hd,'Facecolor','interp','Edgecolor','none','Facelighting','phong'); 五、 高斯低通滤波器IA=imread('lena.bmp');IB=imread('babarra.bmp');f1,f2=freqspace(size(IA),'meshgrid');D=100/size(IA,1);r=f1.2+f2.2;Hd=ones(size(IA);for i=1:size(IA,1) for j=1:size(IA,2) t=r(i,j)/(D*D); Hd(i,j)=exp(-t); endendY=fft2(double(IA);Y=fftshift(Y);Ya=Y.*Hd;Ya=ifftshift(Ya);Ia=real(ifft2(Ya);figuresubplot(2,2,1),imshow(uint8(IA);subplot(2,2,2),imshow(uint8(Ia);figuresurf(Hd,'Facecolor','interp','Edgecolor','none','Facelighting','phong'); 六、 高斯高通滤波器IA=imread('lena.bmp');IB=imread('babarra.bmp');f1,f2=freqspace(size(IA),'meshgrid');%D=100/size(IA,1);D=0.3;r=f1.2+f2.2;for i=1:size(IA,1) for j=1:size(IA,2) t=r(i,j)/(D*D); Hd(i,j)=1-exp(-t); endendY=fft2(double(IA);Y=fftshift(Y);Ya=Y.*Hd;Ya=ifftshift(Ya);Ia=real(ifft2(Ya);figuresubplot(2,2,1),imshow(uint8(IA);subplot(2,2,2),imshow(uint8(Ia);figuresurf(Hd,'Facecolor','interp','Edgecolor','none','Facelighting','phong'); 七、 梯形低通滤波器IA=imread('lena.bmp');IB=imread('babarra.bmp');f1,f2=freqspace(size(IA),'meshgrid');%D=100/size(IA,1);D0=0.1;D1=0.4;r=sqrt(f1.2+f2.2);Hd=zeros(size(IA);Hd(r<D0)=1;for i=1:size(IA,1) for j=1:size(IA,2) if r(i,j)>=D0 & r(i,j)<=D1 Hd(i,j)=(D1-r(i,j)/(D1-D0); end endendY=fft2(double(IA);Y=fftshift(Y);Ya=Y.*Hd;Ya=ifftshift(Ya);Ia=real(ifft2(Ya);figuresubplot(2,2,1),imshow(uint8(IA);subplot(2,2,2),imshow(uint8(Ia);figuresurf(Hd,'Facecolor','interp','Edgecolor','none','Facelighting','phong'); 八、 梯形高通滤波器IA=imread('lena.bmp');IB=imread('babarra.bmp');f1,f2=freqspace(size(IA),'meshgrid');%D=100/size(IA,1);D0=0.1;D1=0.4;r=sqrt(f1.2+f2.2);Hd=ones(size(IA);Hd(r<D1)=0;for i=1:size(IA,1) for j=1:size(IA,2) if r(i,j)>=D0 & r(i,j)<=D1 Hd(i,j)=(D0-r(i,j)/(D0-D1); end endendY=fft2(double(IA);Y=fftshift(Y);Ya=Y.*Hd;Ya=ifftshift(Ya);Ia=real(ifft2(Ya);figuresubplot(2,2,1),imshow(uint8(IA);subplot(2,2,2),imshow(uint8(Ia);figuresurf(Hd,'Facecolor','interp','Edgecolor','none','Facelighting','phong'); 九、 用其他方法编写的理想低通、理想高通、Butterworth低通、同态滤波程序1、 理想低通i1=imread('lena.bmp');i2=imnoise(i1,'salt & pepper',0.1);f=double(i2);k=fft2(f);g=fftshift(k);N1,N2=size(g);d0=50;u0=floor(N1/2)+1;v0=floor(N2/2)+1;for i=1:N1 for j=1:N2 d=sqrt(i-u0)2+(j-v0)2); if d<=d0 h=1; else h=0; end y(i,j)=g(i,j)*h; endendy=ifftshift(y);E1=ifft2(y);E2=real(E1);figuresubplot(2,2,1),imshow(uint8(i1);subplot(2,2,2),imshow(uint8(i2);subplot(2,2,3),imshow(uint8(E2); 2、 理想高通i1=imread('lena.bmp');i2=imnoise(i1,'salt & pepper',0.1);f=double(i2);k=fft2(f);g=fftshift(k);N1,N2=size(g);n=2;d0=10;u0=floor(N1/2)+1;v0=floor(N2/2)+1;for i=1:N1 for j=1:N2 d=sqrt(i-u0)2+(j-v0)2); if d<=d0 h=0; else h=1; end y(i,j)=g(i,j)*h;endendy=ifftshift(y);E1=ifft2(y);E2=real(E1);figuresubplot(2,2,1),imshow(uint8(i1);subplot(2,2,2),imshow(uint8(i2);subplot(2,2,3),imshow(uint8(E2); 3、 Butterworth低通i1=imread('lena.bmp');i2=imnoise(i1,'salt & pepper',0.1);f=double(i2);k=fft2(f);g=fftshift(k);N1,N2=size(g);n=2;d0=50;u0=floor(N1/2)+1;v0=floor(N2/2)+1;for i=1:N1 for j=1:N2 d=sqrt(i-u0)2+(j-v0)2); h=1/(1+(d/d0)(2*n); y(i,j)=g(i,j)*h; endendy=ifftshift(y);E1=ifft2(y);E2=real(E1); figuresubplot(2,2,1),imshow(uint8(i1);subplot(2,2,2),imshow(uint8(i2);subplot(2,2,3),imshow(uint8(E2); 4、 同态滤波I=rgb2gray(imread('fabric00.bmp');M,N=size(I);T=double(I);L=log(T);F=fft2(L);A=2;B=0.3;for i=1:M for j=1:N D(i,j)=(i-M/2)2+(j-N/2)2); endendc=1.1;%锐化参数D0=max(M,N);H=(A-B)*(1-exp(c*(-D/(D02)+B;F=F.*H;F=ifft2(F);Y=exp(F);figuresubplot(1,2,1),imshow(I);subplot(1,2,2),imshow(uint8(real(Y); 十、 Gabor滤波器
