python3下使Word2Vec每次运行结果一致
如何在python3环境使Word2Vec每次运行结果一致 【python3下使Word2Vec每次运行结果一致】我们经常使用gensim的Word2Vec来进行单词转向量,但是这个包存在一个问题,每次训练结果都不同,这就导致了特征无法复现。
查阅Word2Vec的官方文档,在seed参数哪里可以发现这样的解释:
- seed (int) – Seed for the random number generator. Initial vectors for each word are seeded with a hash of the concatenation of word + str(seed). Note that for a fully deterministically-reproducible run, you must also limit the model to a single worker thread (workers=1), to eliminate ordering jitter from OS thread scheduling. (In Python 3, reproducibility between interpreter launches also requires use of the PYTHONHASHSEED environment variable to control hash randomization)
经验证使用os.environ['PYTHONHASHSEED '] =‘**'无法起作用,必须修改系统环境变量。
- windows: 右击计算机(我的电脑)-》选择属性-》在弹出的面板中选择高级系统设置-》选择环境变量-添加PYTHONHASHSEED=0
- linux: vim /etc/profile 或者 .bash_profile 然后添加PYTHONHASHSEED=0
显然这个secret前后缀的值会直接影响计算结果,而且它有一个启动时随机生成的机制,只不过,在2.x版本中,这个机制默认是关闭的,前后缀每次启动都设置为0,除非你改了相关环境变量来要求随机,而在3.x中修改了默认行为,如果你不配置环境变量,则默认是随机一个前后缀值,这样每次启动都会不同,这个功能有一定的安全性上的考虑,可以让攻击者难以预测内置的set或者dict的一些行为。
这个环境变量就是PYTHONHASHSEED,配置方法如下:
- 无论在2.x还是3.x中,配置为一个正整数,将作为随机种子;
- 配置为0,则secret前后缀默认清零(和2.x默认行为就一样了);
- 配置为空串或“random”,则表示让进程随机生成(和3.x默认行为一样)。
推荐阅读
- 为什么不建议<=3G的情况下使用CMS|为什么不建议<=3G的情况下使用CMS GC
- Python3|Python3 MySQL 数据库连接
- win10环境|win10环境 python3.6安装pycrypto-2.6.1的问题
- 分布式|《Python3网络爬虫开发实战(第二版)》内容介绍
- python3|python3 模块 包
- 词向量|词向量 Word2Vec, Glove, FastText
- Python3.x(Socket网络编程)
- 树莓派|树莓派 | 04 安装基于python3.5的tensorflow,解决python版本不匹配问题
- ubuntu下安装python3.6及以上版本出现pip3报错等问题
- python实现gui编程_怎样用Python3实现GUI编程()