如何设置Apache卡夫卡砖吗

了解如何设置Apache卡夫卡砖。

写的亚当Pavlacka

去年发表在:2022年5月18日

本文解释了如何设置Apache卡夫卡在AWS EC2机器上并连接砖。以下是所需的高水平的步骤创建一个卡夫卡集群,从砖笔记本连接。

表的内容

步骤1:创建一个新的VPC AWS 第二步:启动新VPC EC2实例 步骤3:新EC2实例上安装卡夫卡和管理员 步骤4:两个vpc同行 步骤5:从一个笔记本访问卡夫卡代理

步骤1:创建一个新的VPC AWS

  1. 当创建新的VPC,设置新的VPC CIDR范围比砖VPC CIDR的范围不同。例如:

    • 砖VPCvpc-7f4c0d18CIDR IP范围10.205.0.0/16。
      砖VPC的例子。
    • 新VPCvpc-8eb1faf7CIDR IP范围10.10.0.0/16。
      新VPC的例子。
  2. 创建一个新的互联网网关和附加新VPC的路由表。这允许您向EC2 ssh启动下VPC的机器。

    • 创建一个新的互联网网关。
      设置新的互联网网关。
    • 将它附加到VPCvpc-8eb1faf7。
      附加VPC网关。

第二步:启动新VPC EC2实例

在新VPC启动EC2实例vpc-8eb1faf7在步骤1中创建的。

启动新VPC EC2。

步骤3:新EC2实例上安装卡夫卡和管理员

  1. SSH密钥对的机器。
    ssh -我密钥对。pem ec2 - user@ec2 - xx, xxx - xx - xxx.us -西方- 2. - compute.amazonaws.com
  2. 卡夫卡下载并解压存档。
    wget https://apache.claz.org/kafka/0.10.2.1/kafka_2.12-0.10.2.1.tgz焦油-zxf kafka_2.12-0.10.2.1.tgz
  3. 动物园管理员开始过程。
    cd kafka_2.12-0.10.2.1 bin / zookeeper-server-start。sh配置/ zookeeper.properties
  4. 编辑配置/ server.properties文件和设置10.10.143.166的私有IP EC2节点。
    advertised.listeners =明文:/ 10.10.143.166:9092
  5. 卡夫卡代理开始。
    cd kafka_2.12-0.10.2.1 bin / kafka-server-start。sh配置/ server.properties

步骤4:两个vpc同行

  1. 创建一个新的连接。
    设置一个新的对等连接。
  2. 对等连接添加到砖VPC的路由表和新卡夫卡VPC在步骤1中创建的。

    • 在卡夫卡VPC,进入路由表并添加砖VPC的路线。
      卡夫卡VPC路由表。
    • 砖VPC,进入路由表并添加卡夫卡VPC的路线。
      砖VPC的路由表。

有关更多信息,请参见VPC凝视。

步骤5:从一个笔记本访问卡夫卡代理

  1. 验证您可以达到运行卡夫卡的EC2实例和telnet代理。
    telnet输出示例。
  2. SSH到卡夫卡代理。
    % sh ssh -我密钥对。pem ec2 - user@ec2 - xx, xxx - xx - xxx.us -西方- 2. - compute.amazonaws.com
  3. 创建一个新的主题在卡夫卡代理从命令行。
    % sh bin / kafka-console-producer。sh——券商名单上localhost: 9092——文章wordcount <许可证
  4. 读取数据在一个笔记本上。
    % scala org.apache.spark.sql.functions进口。_ val卡夫卡=火花。readStream .format .option (“kafka.bootstrap(“卡夫卡”)。服务器”、“10.10.143.166:9092”).option(“订阅”,“wordcount”) .option (“startingOffsets”、“最早”)显示(卡夫卡)


这篇文章有用吗?