cdh官方文档看后小结(含优化项)001

发布时间：2020-06-13 19:42:25 来源：网络阅读：1774 作者：马吉辉栏目：大数据

2019/3/22 星期五
1、安装后，能装getway的都要装getway
2、静态资源分配默认不打开
3、Cloudera使用以下版本控制约定：major.minor.maintenance。如果群集运行Cloudera Manager 5.14.0，则主要版本为5; 次要版本是14; 维护版本为0。
Cloudera Manager次要版本必须始终等于或大于CDH次要版本。旧版本的Cloudera Manager可能不支持较新版本的CDH中的功能。
例如，Cloudera Manager 5.12.0可以管理CDH 5.12.2，因为次要版本是相同的。 Cloudera Manager 5.12.0无法管理CDH 5.14.0，因为Cloudera Manager次要版本12小于CDH次要版本14。
重要：使用Cloudera Manager 6.0.x管理CDH 5.15.x或CDH 5.16群集不是受支持的配置。
CDH和Cloudera Manager支持的操作系统
4、 Cloudera强烈反对将RHEL 5用于新安装。
5、 Cloudera不支持Docker容器中的CDH群集部署。
6、Kudu文件系统要求 - 在ext4和XFS上支持Kudu。
7、Linux文件系统保留记录访问每个文件的元数据。这意味着即使读取也会导致写入磁盘。为了加快文件读取速度，Cloudera建议您使用/ etc / fstab中的mount选项禁用此选项，称为atime：
具体操作 //优化项 *****

[root@NewCDH-0--141 ~]# vim /etc/fstab 

#
# /etc/fstab
# Created by anaconda on Tue Oct 10 15:41:01 2017
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
/dev/mapper/centos-root /                       xfs     defaults        0 0
UUID=ea80e99b-8d97-406f-a527-4247483ad7b6 /boot                   xfs     defaults        0 0
/dev/mapper/centos-home /home                   xfs     defaults        0 0
/dev/mapper/centos-swap swap                    swap    defaults        0 0

更改为：
/dev/mapper/centos-root /  xfs defaults,noatime 0 0 
/dev/mapper/centos-home /home                   xfs     defaults,noatime        0 0
应用更改而不重新启动：
mount -o remount / 

noatime - 不更新文件系统上 inode 访问记录，可以提升性能(参见 atime 参数)。

参考链接为：https://blog.csdn.net/jc_benben/article/details/78224212

7、文件系统挂载选项
文件系统挂载选项具有允许您同步写入的同步选项。
但是，使用sync选项会导致将数据写入磁盘的服务性能较差，例如HDFS，YARN，Kafka和Kudu。在CDH中，大多数写入都已被复制。因此，对磁盘进行同步写入是不必要的，昂贵的，并且不值得提供额外的安全性。
NFS和NAS选项不得用作DataNode数据目录安装，即使使用Hierarchal Storage功能也不能使用。
8、Cloudera Manager和CDH随附嵌入式PostgreSQL数据库，用于非生产环境。生产环境不支持嵌入式PostgreSQL数据库。对于生产环境，必须将群集配置为使用外部数据库。
9、在大多数情况下（但不是全部），Cloudera支持MariaDB，MySQL和PostgreSQL的版本，这些版本是每个受支持的Linux发行版的原生版本。
10、对于MySQL 5.6和5.7，您必须安装MySQL-shared-compat或MySQL-shared软件包。这是Cloudera Manager Agent软件包安装所必需的。
11、不支持基于MySQL GTID的复制。
//补充 GTID即全局事务ID,器保证为每一个在主上提交的事务在复制集群中可以生成一个唯一的ID.
基于GTID复制：
1.从服务器会告诉主服务器已执行的事务的GTID值。
2.主库会告诉从哪些GTID事务没有被执行。
同一个事务在指定的从库执行一次。

12、cdh不支持mysql的HA //但是我们可以用mysql从
13、要点：重新启动进程时，将使用Cloudera Manager数据库中保存的信息重新部署每个服务的配置。如果此信息不可用，则群集无法启动或正常运行。您必须安排并维护Cloudera Manager数据库的定期备份，以便在丢失此数据库时恢复群集。有关更多信息，请参阅备份数据库。
14、
cdh6.10~5.16 支持mysql 5.1 5.5 5.6 5.7
cdh6.1~5.9 支持 5.1 5.5 5.6
cdh6.0 支持5.1 5.5
线上我们用的是mysql5.6
Cloudera Manager/CDH 5.9 - 5.16 mariadb 5.5 10.0
Cloudera Manager/CDH 5.5 - 5.8 mariadb 5.5

15 java 堆优化
如果堆不需要超过32 GB，请将堆大小设置为31 GB或更小以避免此问题。
如果需要32 GB或更多，请将堆大小设置为48 GB或更高，以考虑较大的指针。通常，对于大小超过32 GB的堆，请将所需的堆数乘以1.5。

16、仅支持64位JDK。所有版本的Cloudera Manager 5和CDH 5都支持Oracle JDK 7.Cloudera Enterprise 5.16.1及更高版本支持OpenJDK 8。任何Cloudera Manager或CDH版本都不支持Oracle JDK 9。

17、jdk7 现在都要升级为jdk8
经过测试和推荐的Oracle JDK 7版本的Oracle JDK版本说明
1.7u80推荐/最新版本测试
1.7u75推荐
1.7u67推荐
1.7u55最低要求
dev118环境我们是：java version "1.7.0_67"

18
对于CDH版本5.13.0及更高版本，由于JDK-8055949，Sentry需要JDK 7u76或更高版本。
CDK 3.0及更高版本由Apache Kafka提供支持需要JDK 8，并且不支持JDK 7。
版本2.2及更高版本的CDS Powered by Apache Spark，可以安装在CDH 5上，需要JDK 8。
不支持OpenJDK 7。

19、
我们生产用的
java version "1.8.0_102"
由于影响CDH功能的JDK问题，不支持Oracle JDK 8u40,8u45和8u60：
版本2.2及更高版本的CDS Powered by Apache Spark，可以安装在CDH 5上，需要JDK 8。
CDK 3.0及更高版本由Apache Kafka提供支持需要JDK 8，并且不支持JDK 7。
Oracle JDK 8u60与AWS SDK不兼容，并导致DistCP出现问题。
Oracle JDK 8版本经过测试和推荐Oracle JDK版本说明
1.8u181推荐/最新版本测试
1.8u162推荐/最新版本测试
1.8u144推荐
1.8u131推荐
1.8u121推荐
1.8u111推荐
1.8u102推荐
1.8u91推荐
1.8u74推荐
1.8u31最低要求
经过测试和推荐的OpenJDK 1.8版OpenJDK版本说明
1.8u181测试的最低要求/最新版本

20、
Java密码学扩展（JCE）无限强度管辖要求如果您使用的是CentOS / Red Hat Enterprise Linux 5.6或更高版本或Ubuntu，则必须在所有群集主机（包括网关主机）上安装Java Cryptography Extension（JCE）Unlimited Strength Jurisdiction Policy File。这是为了确保JDK使用与Red Hat / CentOS操作系统，Kerberos和CDH群集的其余部分相同的默认加密类型（aes256-cts）。
为JDK 1.8.0_151（及更高版本）启用无限强度加密
从JDK 1.8.0_151开始，可以使用JDK 1.8.0_151发行说明中记录的java.security文件启用无限强度加密。您无需安装JCE策略文件。
自JDK 1.8.0_161起，默认情况下启用了无限强度加密。不需要采取进一步行动。
所以在生产上要开启 Kerberos 要用jdk 1.8u181推荐/最新版本测试 1.8u162推荐/最新版本测试

21、
磁盘的建议：
    磁盘空间
        Cloudera Manager Server
            分区托管/ var上有5 GB。
            分区托管/ usr上500 MB。
CDH 5（包括Impala和搜索） - 每个包裹1.5 GB（已包装），每包2 GB（未包装）
                Impala - 每个包裹200 MB
                Cloudera搜索 - 每个包400 MB
        Cloudera管理服务 - 主机监视器和服务监视器数据库存储在托管/ var的分区上。确保此分区上至少有20 GB可用空间。
默认情况下，解压缩的宗地位于/ opt / cloudera / parcels中。

22、内存建议
RAM - 大多数情况下建议使用4 GB，在使用Oracle数据库时是必需的。对于少于100台主机的非Oracle部署，2 GB可能就足够了。
但是，要在具有2 GB RAM的计算机上运行Cloudera Manager Server，必须调低其最大堆大小（通过修改/ etc / default / cloudera-scm-server中的-Xmx）。否则内核可能会因服用太多RAM而终止服务器。
[root@NewCDH-0--141 ~]# vim /etc/default/cloudera-scm-server
export CMF_JAVA_OPTS="-Xmx2G -XX:MaxPermSize=256m -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/tmp"

23、
Python - Cloudera Manager需要Python 2.4或更高版本（但与Python 3.0或更高版本不兼容）。 CDH 5中的Hue和CDH 5的软件包安装需要Python 2.6或2.7。所有支持的操作系统都包括Python 2.4或更高版本。 Cloudera Manager通过最新版本的Python 2.x与Python 2.4兼容。 Cloudera Manager不支持Python 3.0及更高版本。

24、
如果Cloudera Manager Server和Agent在同一主机上运行，请先安装Cloudera Manager Server，然后添加python-psycopg2存储库或软件包。添加存储库或程序包后，安装Cloudera Manager Agent。

25、
网络协议支持
CDH需要IPv4。不支持IPv6，必须禁用IPv6。
注意：请与操作系统供应商联系以获取有关禁用IPv6的帮

26、
/ etc / hosts文件必须：
        包含有关所有主机上的主机名和IP地址的一致信息
        不包含大写主机名
        不包含重复的IP地址
127.0.0.1 localhost.localdomain localhost
192.168.1.1 cluster-01.example.com cluster-01
192.168.1.2 cluster-02.example.com cluster-02
192.168.1.3 cluster-03.example.com cluster-03

27、cdh对硬件的要求
/usr 最小5G
Cloudera Manager数据库5 GB如果Cloudera Manager数据库与服务监视器和主机监视器共享主机，则需要更多存储空间来满足这些组件的要求。

28、基于主机的Cloudera Manager服务器要求
群集主机数量数据库主机配置堆大小逻辑处理器 Cloudera Manager Server存储本地目录
Very small (≤10) Shared 2 GB 4 5 GB minimum
Small (≤20) Shared 4 GB 6 20 GB minimum
Medium (≤200) Dedicated 8 GB 6 200 GB minimum
Large (≤500) Dedicated 10 GB 8 500 GB minimum
Extra Large (>500) Dedicated 16 GB 16 1 TB minimum

注意：在较小的群集上，Cloudera Manager Server和数据库可以共享主机。在较大的群集上，它们必须在单独的专用主机上运行。

29、Service Monitor(服务监视器)要求
使用此表中的建议用于群集，其中具有辅助角色的唯一服务是HDFS，YARN或Impala。

受监视实体数所需的主机数 Java堆大小推荐的非Java堆大小
0-2,000 0-100 1 GB 6 GB
2,000-4,000 100-200 1.5 GB 6 GB
4,000-8,000 200-400 1.5 GB 12 GB
8,000-16,000 400-800 2.5 GB 12 GB
16,000-20,000 800-1,000 3.5 GB 12 GB

与HBase，Solr，Kafka或Kudu的集群

在群集中部署HBase，Solr，Kafka或Kudu等服务时，请使用这些建议。这些服务通常具有更大量的受监控实体。
受监视实体数所需的主机数 Java堆大小推荐的非Java堆大小
0-30,000 0-100 2 GB 12 GB
30,000-60,000 100-200 3 GB 12 GB
60,000-120,000 200-400 3.5 GB 12 GB
120,000-240,000 400-800 8 GB 20 GB

30.
Reports Manager
Reports Manager定期从NameNode获取fsimage。它读取fsimage并为其创建Lucene索引。为了提高索引性能，Cloudera建议配置尽可能强大的主机并将SSD磁盘专用于Reports Manager。
Reports Manager组件Java堆CPU磁盘
报告管理器是fsimage大小的3-4倍。

最少：8个核心
推荐：16核（32核，启用超线程）。

1个专用磁盘，至少是fsimage大小的20倍。 Cloudera强烈建议使用SSD磁盘。

31、
Cloudera建议RAM为60GB到256GB的节点
磁盘
     根卷：100 GB
     应用程序块设备或挂载点（仅限主控主机）：1 TB
     Docker Image Block设备：1 TB
强烈建议将SSD用于应用程序数据存储。

33、flume组件需要的硬件资源 //每个组件需要的硬件资源建议见单独表格
Java Heap：最低：1 GB 最大4 GB Java堆大小应大于最大通道容量
CPU：使用以下公式计算核心数（来源数量+汇数）/ 2 //(Number of sources + Number of sinks ) / 2
磁盘：建议将多个磁盘用于文件通道，JBOD设置或RAID10（由于可靠性提高而首选）。

hdfs组件需要的硬件资源：
组件内存 CPU 磁盘
JournalNode 1 GB（默认）

34、
Cloudera Manager 5.15.2. 5.14.4, 5.13.3, 5.12.2, 5.11.2, 5.10.2, 5.9.3, 5.8.5, 5.7.6, 5.6.1, 5.5.6, 5.4.10, 5.3.10, 5.2.7, 5.1.6, and 5.0.7 are previous stable releases of Cloudera Manager 5.14, 5.13, 5.12, 5.11, 5.10, 5.9, 5.8, 5.7, 5.6, 5.5, 5.4, 5.3, 5.2, 5.1, and 5.0 respectively.
也就是说
5.15.2. 5.14.4, 5.13.3, 5.12.2, 5.11.2, 5.10.2, 5.9.3, 5.8.5, 5.7.6, 5.6.1, 5.5.6, 5.4.10, 5.3.10, 5.2.7, 5.1.6, and 5.0.7
分别是
5.14, 5.13, 5.12, 5.11, 5.10, 5.9, 5.8, 5.7, 5.6, 5.5, 5.4, 5.3, 5.2, 5.1, and 5.0 的稳定版
，所以，我们在选择安装的时候就应该选稳定版

35、Cloudera Manager 5.16.1下载地址为：
yum RHEL/CentOS/Oracle 7
https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.16.1/ https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/cloudera-manager.repo https://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.16.1_x86_64.tar.gz

36、
CDH 5是当前的稳定版本，基于Apache Hadoop 2.3.0或更高版本。

37 impala是可以脱离cdh单独安装的
Impala 2.2.0及更高版本仅适用于CDH 5，所有包都是64位。
Yum RHEL 6/CentOS 6 (64-bit) //单独安装只支持centos6和5 系统
https://archive.cloudera.com/impala/redhat/6/x86_64/impala/2/
https://archive.cloudera.com/impala/redhat/6/x86_64/impala/cloudera-impala.repo

38、 5.13.x增加的新功能
1、支持Spark上的Hive上的地图连接的动态分区修剪。动态分区修剪（DPP）是一种数据库优化，可以显着减少查询扫描的数据量，从而更快地执行工作负载。默认情况下禁用它，但可以通过将hive.spark.dynamic.partition.pruning.map.join.only属性设置为true来启用它。启用后，DPP仅触发分区列上的连接是地图连接的查询。有关详细信息
2、 Apache Pig现在支持使用HCatalog以Parquet格式编写分区Hive表。
3、 Sentry支持Hive Metastore高可用性。

39、
    JDK必须是64位。不要使用32位JDK。
    安装CDH和Cloudera Manager支持的JDK版本之一。
    在每台主机上安装相同版本的Oracle JDK。
    在/ usr / java / jdk-version中安装JDK。

40、
或者通过运行命令visudo然后添加以下行为cloudera-scm组添加新的sudo配置：
    ％cloudera-scm ALL =（ALL）NOPASSWD：ALL
必须配置Sudo，以便/ usr / sbin在运行sudo时位于路径中。实现此目的的一种方法是将以下配置添加到sudoers：
        使用visudo命令编辑/ etc / sudoers文件
        将此行添加到配置文件中：
        默认值为secure_path = / sbin：/ bin：/ usr / sbin：/ usr / bin
vim /etc/sudoers,进入编辑模式，找到这一行："root ALL=(ALL) ALL"在起下面添加"xxx ALL=(ALL) NOPASSWD:ALL"

41
cdh推荐安装mysql的链接 https://www.cloudera.com/documentation/enterprise/5-13-x/topics/cm_ig_mysql.html 必看
mysql的配置文件 cloudera推荐的

[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
transaction-isolation = READ-COMMITTED
# Disabling symbolic-links is recommended to prevent assorted security risks;
# to do so, uncomment this line:
symbolic-links = 0

key_buffer_size = 32M
max_allowed_packet = 32M
thread_stack = 256K
thread_cache_size = 64
query_cache_limit = 8M
query_cache_size = 64M
query_cache_type = 1

max_connections = 550
#expire_logs_days = 10
#max_binlog_size = 100M

#log_bin should be on a disk with enough free space.
#Replace '/var/lib/mysql/mysql_binary_log' with an appropriate path for your
#system and chown the specified folder to the mysql user.
log_bin=/var/lib/mysql/mysql_binary_log

#In later versions of MySQL, if you enable the binary log and do not set
#a server_id, MySQL will not start. The server_id must be unique within
#the replicating group.
server_id=1

binlog_format = mixed

read_buffer_size = 2M
read_rnd_buffer_size = 16M
sort_buffer_size = 8M
join_buffer_size = 8M

# InnoDB settings
innodb_file_per_table = 1
innodb_flush_log_at_trx_commit  = 2
innodb_log_buffer_size = 64M
innodb_buffer_pool_size = 4G
innodb_thread_concurrency = 8
innodb_flush_method = O_DIRECT
innodb_log_file_size = 512M

[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid

sql_mode=STRICT_ALL_TABLES

42、MySQL 5.6需要5.1驱动程序版本5.1.26或更高版本。
Cloudera建议您在有限数量的主机上合并所有需要数据库的角色，并在这些主机上安装驱动程序。建议在同一主机上定位所有此类角色，但不是必需的。
确保在运行访问数据库的角色的每个主机上安装JDBC驱动程序。
注意：Cloudera建议仅使用JDBC驱动程序的5.1版。
我们线上的jdbc 版本为 mysql-connector-java-5.1.35-bin.jar
mysql安装的是5.6的版本
//下载地址和实际操作官方用的推荐的版本为：mysql-connector-java-5.1.46.tar.gz
Download the MySQL JDBC driver from http://www.mysql.com/downloads/connector/j/5.1.html (in .tar.gz format).
Extract the JDBC driver JAR file from the downloaded file. For example:

tar zxvf mysql-connector-java-5.1.46.tar.gz

Copy the JDBC driver, renamed, to /usr/share/java/. If the target directory does not yet exist, create it. For example:

sudo mkdir -p /usr/share/java/
cd mysql-connector-java-5.1.46
sudo cp mysql-connector-java-5.1.46-bin.jar /usr/share/java/mysql-connector-java.jar

43、Sqoop 2有一个内置的Derby数据库，但是Cloudera建议您使用PostgreSQL数据库
//默认是Derby数据库 Derby以嵌入模式运行，无法监控其运行状况。
虽然有可能，Cloudera目前没有嵌入式Derby数据库的实时备份策略。

44、mysql数据库需要备份
备份MySQL数据库
要备份MySQL数据库，请在MySQL主机上运行mysqldump命令，如下所示：m
$ mysqldump -hhostname -uusername -ppassword database> /tmp/database-backup.sql
例如，要备份在创建Cloudera软件数据库中创建的活动监视器数据库，请在本地主机上以root用户身份使用密码amon_password：
$ mysqldump -pamon_password amon> /tmp/amon-backup.sql
要以root用户身份备份远程主机myhost.example.com上的示例活动监视器数据库，请使用密码amon_password：
$ mysqldump -hmyhost.example.com -uroot -pamon_password amon> /tmp/amon-backup.sql

45、Cloudera Manager中存储度量标准数据以及存储限制如何影响数据保留的信息
服务监视器存储时间序列数据和运行状况数据，Impala查询元数据和YARN应用程序元数据。默认情况下，数据存储在Service Monitor主机上的/ var / lib / cloudera-service-monitor /中。您可以通过修改服务监视器存储目录配置（firehose.storage.base.directory）来更改此设置。
时间序列指标和运行状况数据 - 时间序列存储（firehose_time_series_storage_bytes - 默认值为10 GB，最小值为10 GB）
Impala查询元数据 - Impala存储（firehose_impala_storage_bytes - 默认为1 GB）
YARN应用程序元数据 - YARN存储（firehose_yarn_storage_bytes - 默认为1 GB）
cdh的解释：
专用于存储 Impala 查询数据的磁盘空间近似量。存储达到其最大值后，将会删除较旧的数据，以便为更新的查询腾出空间。磁盘使用情况是大概情况，因为只有达到限值后才会删除数据。
专用于存储时间序列和运行状况数据的磁盘空间近似量。存储达到其最大值后，将会删除较旧的数据，以便为更新的数据腾出空间。磁盘使用情况是大概情况，因为只有达到限值后才会删除数据。

46、
在cdh监控端 cloudera-sever-manager 配置
与HBase，Solr，Kafka或Kudu的集群
在群集中部署HBase，Solr，Kafka或Kudu等服务时使用建议。这些服务通常具有更大量的受监控实体。
受监视实体数所需的主机数 Java堆大小推荐的非Java堆大小
0-30,000 0-100 2 GB 12 GB
具有HDFS，YARN或Impala的群集
使用此表中的建议用于群集，其中只有具有辅助角色的服务是HDFS，YARN或Impala。
0-2,000 0-100 1 GB 6 GB

47、步骤2自定义规则排除静态服务池向导
HDFS
For the NameNode and Secondary NameNode JVM heaps, the minimum is 50 MB and the ideal is max(4 GB, sum_over_all(DataNode mountpoints’ available space) / 0.000008).
//NameNode and Secondary NameNode JVM heaps 推荐 JVM堆 4G

MapReduce
For the JobTracker JVM heap, the minimum is 50 MB and the ideal is max(1 GB, round((1 GB 2.3717181092 ln(number of TaskTrackers in MapReduce service)) - 2.6019933306)). If the number of TaskTrackers <= 5, the ideal is 1 GB.
For the mapper JVM heaps, the minimum is 1 and the ideal is the number of cores, including hyperthreads, on the TaskTracker host. Memory consumption is scaled by mapred_child_java_opts_max_heap (the size of a task's heap).
For the reducer JVM heaps, the minimum is 1 and the ideal is (number of cores, including hyperthreads, on the TaskTracker host) / 2. Memory consumption is scaled by mapred_child_java_opts_max_heap (the size of a task's heap).
//对于JobTracker JVM堆推荐值为1G
mapper JVM heaps 推荐值为1G
the reducer JVM heaps 推荐值为1G

HBase
For the memory total allowed for HBase RegionServer JVM heap, the minimum is 50 MB and the ideal is min (31 GB ,(total RAM on region server host) 0.64)
//对于HBase RegionServer JVM堆允许的内存总量，最小值为50 MB，理想值为min（31 GB，（区域服务器主机上的总RAM） 0.64）

YARN
For the memory total allowed for containers, the minimum is 1 GB and the ideal is (total RAM on NodeManager host) 0.64.
//对于容器允许的内存总量，最小值为1 GB 理想值为（NodeManager主机上的总RAM） 0.64。

Hue
With the exception of the Beeswax Server (only in CDH 4), Hue roles do not have memory limits. Therefore, Cloudera Manager treats them as roles that consume a fixed amount of memory by setting their minimum and ideal consumption values, but not their configuration values. The two consumption values are set to 256 MB.
//除了Beeswax Server（仅在CDH 4中），Hue角色没有内存限制。因此，Cloudera Manager通过设置最小和理想消耗值而不是其配置值，将它们视为消耗固定内存量的角色。两个消耗值设置为256 MB。

Impala
With the exception of the Impala daemon, Impala roles do not have memory limits. Therefore, Cloudera Manager treats them as roles that consume a fixed amount of memory by setting their minimum/ideal consumption values, but not their configuration values. The two consumption values are set to 150 MB for the Catalog Server and 64 MB for the StateStore.
For the Impala Daemon memory limit, the minimum is 256 MB and the ideal is (total RAM on daemon host) 0.64.
//除Impala守护程序外，Impala角色没有内存限制。因此，Cloudera Manager通过设置最小/理想消耗值而不是其配置值，将它们视为消耗固定内存量的角色。目录服务器的两个消耗值设置为150 MB，StateStore设置为64 MB。对于Impala Daemon内存限制，最小值为256 MB，理想值为（守护程序主机上的总RAM） 0.64。

Solr
For the Solr Server JVM heap, the minimum is 50 MB and the ideal is min(64 GB, (total RAM on Solr Server host) 0.64) / 2.6. For the Solr Server JVM direct memory segment, the minimum is 256 MB and the ideal is min(64 GB, (total RAM on Solr Server host) 0.64) / 2.
//对于Solr Server JVM堆，最小值为50 MB，理想值为min（64 GB，（Solr Server主机上的总RAM） 0.64）/ 2.6。
对于Solr Server JVM直接内存段，最小值为256 MB，理想值为min（64 GB，（Solr Server主机上的总RAM） 0.64）/ 2。

Cloudera Management Service
Alert Publisher JVM heap - Treated as if it consumed a fixed amount of memory by setting the minimum/ideal consumption values, but not the configuration values. The two consumption values are set to 256 MB.
//通过设置最小/理想消耗值而不是配置值来处理，就好像它消耗了固定数量的内存一样。两个消耗值设置为256 MB。
Service and Host Monitor JVM heaps - The minimum is 50 MB and the ideal is either 256 MB (10 or fewer managed hosts), 1 GB (100 or fewer managed hosts), or 2 GB (over 100 managed hosts).
//最小值为50 MB，理想值为256 MB（10个或更少的托管主机），1 GB（100个或更少的托管主机）或2 GB（超过100个托管主机）。
Event Server, Reports Manager, and Navigator Audit Server JVM heaps - The minimum is 50 MB and the ideal is 1 GB.
//Event Server, Reports Manager, and Navigator Audit Server JVM heaps 1 GB
Navigator Metadata Server JVM heap - The minimum is 512 MB and the ideal is 2 GB.
Service and Host Monitor off-heap memory segments - The minimum is either 768 MB (10 or fewer managed hosts), 2 GB (100 or fewer managed hosts), or 6 GB (over 100 managed hosts). The ideal is always twice the minimum.

步骤3静态服务池向导的自定义规则
YARN
For the memory total allowed for containers, the minimum is 1 GB and the ideal is min(8 GB, (total RAM on NodeManager host) 0.8 service percentage chosen in wizard).
//对于容器允许的内存总量，最小值为1 GB，理想值为min（8 GB，（NodeManager主机上的总RAM） 0.8 向导中选择的服务百分比）。

Impala
For the Impala Daemon memory limit, the minimum is 256 MB and the ideal is ((total RAM on Daemon host) 0.8 service percentage chosen in wizard).
//对于Impala Daemon内存限制，最小值为256 MB，理想值为（（守护程序主机上的总RAM） 0.8 在向导中选择的服务百分比）。

MapReduce
Mapper JVM heaps - the minimum is 1 and the ideal is (number of cores, including hyperthreads, on the TaskTracker host service percentage chosen in wizard). Memory consumption is scaled by mapred_child_java_opts_max_heap (the size of a given task's heap).
//Mapper JVM heaps最小值为1，理想值为（在向导中选择的TaskTracker主机服务百分比上的核心数，包括超线程）。内存消耗由mapred_child_java_opts_max_heap（给定任务的堆的大小）进行缩放。
Reducer JVM heaps - the minimum is 1 and the ideal is (number of cores, including hyperthreads on the TaskTracker host service percentage chosen in wizard) / 2. Memory consumption is scaled by mapred_child_java_opts_max_heap (the size of a given task's heap).
//Reducer JVM堆 - 最小值为1，理想值为（核心数，包括在向导中选择的TaskTracker主机服务百分比上的超线程）/ 2.内存消耗由mapred_child_java_opts_max_heap（给定任务堆的大小）进行缩放。

Step 3 Generic Rule
For every {role, segment} pair, the segment's current value is converted into bytes, and then multiplied by the scale factor (1.0 by default, 1.3 for JVM heaps, and freely defined for Custom Service Descriptor services).
//
第3步通用规则
对于每个{role，segment}对，段的当前值将转换为字节，然后乘以比例因子（默认情况下为1.0，JVM堆为1.3，自定义服务描述符服务自由定义）。

48、修改hbase的gc配置https://www.cloudera.com/documentation/enterprise/5-13-x/topics/admin_hbase_garbage_collection.html
  在每个RegionServer上，编辑conf / hbase-env.sh。
    在以HBASE_OPTS开头的行上添加或修改JVM配置选项。
    重新启动RegionServer。
在界面上也可以配置

50、hbase禁用BoundedByteBufferPool

51、Cloudera Manager包含内部机架感知脚本，但您必须指定群集中主机所在的机架。如果您的群集包含10个以上的主机，Cloudera建议您为每个主机指定机架。 HDFS，MapReduce和YARN将自动使用您指定的机架。
https://www.cloudera.com/documentation/enterprise/5-13-x/topics/cm_mc_specify_rack.html

52、cdh不同版本支持的操作系统参考链接为
https://blog.csdn.net/high3011/article/details/78131668
https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#concept_xdm_rgj_j1b

参考链接：
讲解了cdh中组件的通用规则 *****
https://www.cloudera.com/documentation/enterprise/5-13-x/topics/cm_mc_autoconfig.html
MYSQL 基于GTID的复制 https://www.cnblogs.com/yg_zhang/p/5914824.html

向AI问一下细节

cdh官方文档看后小结(含优化项)001

猜你喜欢

最新资讯

相关推荐

相关标签