这篇文章将为大家详细讲解有关CDSW中Run Experiments异常的示例分析，小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。
CDSW Experiments简介
从CDSW (Cloudera Data Science Workbench) 1.4开始，CDSW中新增了一个Experiments 功能，它允许数据科学家运行批处理实验，跟踪不同版本的代码，并进行参数输入和输出。Experiments 是批量执行的工作负载，将代码、输入参数和输出模板化。此功能还提供轻量级跟踪输出数据的功能，包括文件、指标和元数据用以进行比较。
测试环境：
1.RedHat7.2
2.CDH5.16.1
问题描述
当我们在项目中添加一个脚本，这里使用官方示例 add.py
import sys
import cdsw
args = len(sys.argv) - 1
sum = 0
x = 1
while (args >= x):
print ("Argument %i: %s" % (x, sys.argv[x]))
sum = sum + int(sys.argv[x])
x = x + 1
print ("Sum of the numbers is: %i." % sum)
参数如下：
run experiments ，会出现如下错误
解决办法
关于上面的问题主要在于run experiments 时，会run /home/cdsw/cdsw-build.sh,这个脚本中会执行pip install sklearn,当我们在离线的环境下，无法安装sklearn 包，就会出现该问题，那么解决该问题有两种办法
添加定制镜像，引入sklearn的安装包
如何定制镜像可以参考Fayson 之前的文章《如何基于CDSW基础镜像定制Docker》和《如何在CDSW中定制Docker镜像》这里不多描述，定制完成后选择新的镜像并保存
然后重新打开会话，run experiments
发现可以正常pip install sklearn，并成功执行完成
到会话中注释/home/cdsw/cdsw-build.sh 文件中的pip install sklearn
进入会话中，点击_Terminal access
注释/home/cdsw/cdsw-build.sh 文件中的pip install sklearn
然后再重新执行，也可以正常执行完成
关于“CDSW中Run Experiments异常的示例分析”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，使各位可以学到更多知识，如果觉得文章不错，请把它分享出去让更多的人看到。
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
