preprocess（python如何调用另一个py文件的所有函数）

本文目录

• python如何调用另一个py文件的所有函数
• DataPreprocess.m是什么类型文件，如何执行
• sklearn.preprocessing.scale 和standardscale的区别

python如何调用另一个py文件的所有函数

在同一个文件夹下

调用函数：

A.py文件：

B.py文件：

或

调用类：

A.py文件:

B.py文件：

或

在不同文件夹下

A.py文件的文件路径：E:\PythonProject\winycg

B.py文件：

针对这个问题，网上有很多的解决方式。其实最主要的原因是因为Python无法正确找到你其他文件夹下文件的路径。针对不同的环境和问题有不同的方法，大家可自行测试。

方法一

1. 环境，Python为3.5，pycharm工作区间。主文件（main_preprocess.py）需要运用split_by_date.py中的函数，main_preprocess与split_by_date在同一个大文件夹下，其中split_by_date在preprocess文件夹下

2.文件夹目录视图：

3.以下问题针对的问题如下：

在此处有一个文件   application/app/folder/file.py

想在 application/app2/some_folder/some_file.py  中应用file.py

方法二

方法三

但是这个方法必须保证folder文件夹（也就是需要的文件夹下）包含__init__.py，若是没有，可以新建一个

方法四

此法适用于 python3 on linux

方法五

当文件在平行路径下时，如

application/app2/some_folder/some_file.pyapplication/app2/another_folder/another_file.py

DataPreprocess.m是什么类型文件，如何执行

1.在提交新版本到AppStore时候一定要保留每个版本的.dSYM文件。无法定位crash的代码肯定是.dSYM文件和crash report对应的程序版本不一致。　　2.由用户反馈的当前版本的crash report可以在iTunesConnect下载。如果是存在设备上的，可以用Organizer导出　　3.打开.crash文件，参考Hardware Model确定故障设备是armv6还是armv7架构。　　4.利用.dSYM定位调用栈记录中未确定的offset。　　比如有如下记录:　　Last Exception Backtrace:　　0 CoreFoundation 0x3440a8bf __exceptionPreprocess　　1 libobjc.A.dylib 0x3465a1e5 objc_exception_throw　　2 CoreFoundation 0x3440a7b9 + (in MyApp) (MyDelegate.m:441)　　这样就确定了调用栈中offset对应的源代码位置。注意如果此时.dSYM文件版本不对，会得到完全无用的错误结果。之后就可以根据所有信息综合分析，确定crash的原因并修正。

sklearn.preprocessing.scale 和standardscale的区别

一、标准化（Z-Score），或者去除均值和方差缩放

公式为：(X-mean)/std  计算时对每个属性/每列分别进行。

将数据按期属性（按列进行）减去其均值，并处以其方差。得到的结果是，对于每个属性/每列来说所有数据都聚集在0附近，方差为1。

实现时，有两种不同的方式：

使用sklearn.preprocessing.scale()函数，可以直接将给定数据进行标准化。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

》》》 from sklearn import preprocessing

》》》 import numpy as np

》》》 X = np.array(,

...               ,

...               )

》》》 X_scaled = preprocessing.scale(X)

》》》 X_scaled                                         

array(,

,

)

》》》#处理后数据的均值和方差

》》》 X_scaled.mean(axis=0)

array()

》》》 X_scaled.std(axis=0)

array()

使用sklearn.preprocessing.StandardScaler类，使用该类的好处在于可以保存训练集中的参数（均值、方差）直接使用其对象转换测试集数据。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

》》》 scaler = preprocessing.StandardScaler().fit(X)

》》》 scaler

StandardScaler(copy=True, with_mean=True, with_std=True)

》》》 scaler.mean_                                     

array()

》》》 scaler.std_                                      

array()

》》》 scaler.transform(X)                              

array(,

,

)

》》》#可以直接使用训练集对测试集数据进行转换

》》》 scaler.transform()               

array()

二、将属性缩放到一个指定范围

除了上述介绍的方法之外，另一种常用的方法是将属性缩放到一个指定的最大和最小值（通常是1-0）之间，这可以通过preprocessing.MinMaxScaler类实现。

使用这种方法的目的包括：

1、对于方差非常小的属性可以增强其稳定性。

2、维持稀疏矩阵中为0的条目。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

》》》 X_train = np.array(,

...                     ,

...                     )

...

》》》 min_max_scaler = preprocessing.MinMaxScaler()

》》》 X_train_minmax = min_max_scaler.fit_transform(X_train)

》》》 X_train_minmax

array(,

,

)

》》》 #将相同的缩放应用到测试集数据中

》》》 X_test = np.array()

》》》 X_test_minmax = min_max_scaler.transform(X_test)

》》》 X_test_minmax

array()

》》》 #缩放因子等属性

》》》 min_max_scaler.scale_                            

array()

》》》 min_max_scaler.min_                              

array()

当然，在构造类对象的时候也可以直接指定最大最小值的范围：feature_range=(min, max)，此时应用的公式变为：

X_std=(X-X.min(axis=0))/(X.max(axis=0)-X.min(axis=0))

X_scaled=X_std/(max-min)+min

三、正则化（Normalization）

正则化的过程是将每个样本缩放到单位范数（每个样本的范数为1），如果后面要使用如二次型（点积）或者其它核方法计算两个样本之间的相似性这个方法会很有用。

Normalization主要思想是对每个样本计算其p-范数，然后对该样本中每个元素除以该范数，这样处理的结果是使得每个处理后样本的p-范数（l1-norm,l2-norm）等于1。

p-范数的计算公式：||X||p=(|x1|^p+|x2|^p+...+|xn|^p)^1/p

该方法主要应用于文本分类和聚类中。例如，对于两个TF-IDF向量的l2-norm进行点积，就可以得到这两个向量的余弦相似性。

1、可以使用preprocessing.normalize()函数对指定数据进行转换：

1

2

3

4

5

6

7

8

9

》》》 X = ,

...      ,

...     

》》》 X_normalized = preprocessing.normalize(X, norm=’l2’)

》》》 X_normalized                                     

array(,

,

)

2、可以使用processing.Normalizer()类实现对训练集和测试集的拟合和转换：

1

2

3

4

5

6

7

8

9

10

11

12

》》》 normalizer = preprocessing.Normalizer().fit(X)  # fit does nothing

》》》 normalizer

Normalizer(copy=True, norm=’l2’)

》》》

》》》 normalizer.transform(X)                           

array(,

,

)

》》》 normalizer.transform()            

array()

补充：