Apache NiFi

介绍

Apache NiFi 是一个开源的流式数据处理平台，用于收集、转换和路由数据。它使用户能够轻松地创建、监控和监控数据管道，从而实现数据收集、转换和路由。
更详细的介绍请移步Apache NiFi 官网 and Apache NiFi 如何从入门到不放弃 。
为什么不是 canal、flume、spark 、flink？ 在我看来不同的业务场景使用的工具也不尽相同，我尤其喜欢nifi的颜值

安装部署

相关环境

• Debian 11
• JDK 22
• NIFI 2.0.0-M3

至于具体安装步骤 可参考 NIFI 2.0.0版本HTTPS访问部署
此处着重强调关于https问题，nifi的https端口为9443，但是默认的证书是自签名的，所以需要修改证书，否则无法访问。
因项目中存在多个部署环境，经常会修改nifi的访问ip所以根据需要写了个证书替换的脚本

nifi 证书替换脚本

# nifi 证书替换脚本

#!/bin/bash
lastip="192.168.2.4"
newip="1.1.1.1"
password="abcdef123456"

sed -i "s/$lastip/$newip/g" nifi.properties
rm -rf nifi.crt nifi.csr  nifi.key  nifi.p12
openssl genpkey -algorithm RSA -out nifi.key
openssl req -new -key nifi.key -out nifi.csr -subj "/C=US/ST=California/L=San Francisco/O=My Company/CN=$newip"
openssl x509 -req -days 3650 -in nifi.csr -signkey nifi.key -out nifi.crt
openssl pkcs12 -export -in nifi.crt -inkey nifi.key -out nifi.p12 -name nifi -password pass:$password

自定义NIFI流程模板

导入导出