java|fasttext 加载模型内存分配失败 learning|machine

model_path="demo.model.bin" word="csdn" import fasttext model= fasttext.load_model(model_path)

python 使用fasttext 加载已经训练好的模型，结果出现异常,代码如上
“Exception: fastText: Cannot load demo.model.bin due to C++ extension failed to allocate the memory”

文章图片

主要原因是 c++ 版本训练的fasttext 的bin文件的问题，后面重新使用java 版本的fasttext.jar 训练后不存在上面模型加载的问题
基本命令如下

FTDATA='https://www.it610.com/article/data/ft_data' FTMODEL='data/ft_model' #文本分类 function train(){ class_id=${1} input=${FTDATA}/${class_id}.data output=${FTMODEL}/${class_id}.model java -cp jar/fasttext.jar fasttext.Main supervised -input ${input} -output ${output} -dim 50 -wordNgrams 2 -ws 5 -minCount 2 -ep och 10 -thread 10} # 词向量训练 function train_unsupervised(){ class_id=${1} input=${FTDATA}/${class_id}.data output=${FTMODEL}/${class_id}.model java -cp jar/fasttext.jar fasttext.Main skipgram -input ${input} -output ${output} -dim 50 -wordNgrams 2 -ws 5 -minCount 2 -epoc h 10 -thread 10 }

【java|fasttext 加载模型内存分配失败】jar 包地址：https://download.csdn.net/download/renyuanfang/10782326