1. 项目概述这个项目构建了一个完整的AWS物联网数据处理流水线使用Java JDK21作为开发环境。核心架构由四个AWS服务组成IoT Core负责设备连接Lambda处理业务逻辑DynamoDB持久化数据Redis作为缓存层。这种组合特别适合需要实时处理海量设备数据的场景比如智能家居、工业物联网或车联网应用。我在实际项目中多次采用类似架构发现它能很好地平衡性能、成本和开发效率。AWS IoT Core原生支持MQTT协议可以轻松接入各类物联网设备Lambda的无服务器特性让我们无需操心基础设施DynamoDB的单表设计配合Redis缓存能轻松应对突发流量。2. 环境准备与配置2.1 AWS账户设置首先需要配置AWS CLI凭证。我推荐使用命名配置文件避免影响其他项目的配置aws configure --profile iot-project然后安装AWS SAM CLI用于本地Lambda开发测试brew tap aws/tap brew install aws-sam-cli2.2 Java开发环境项目使用JDK21的新特性比如虚拟线程和模式匹配。建议使用SDKMAN管理多版本JDKsdk install java 21-amzn sdk use java 21-amzn在pom.xml中需要包含这些关键依赖dependency groupIdsoftware.amazon.awssdk/groupId artifactIdiot/artifactId version2.20.0/version /dependency dependency groupIdcom.amazonaws/groupId artifactIdaws-lambda-java-core/artifactId version1.2.2/version /dependency3. IoT Core设备接入实现3.1 创建设备证书使用AWS CLI创建IoT设备证书和策略aws iot create-keys-and-certificate \ --set-as-active \ --certificate-pem-outfile device-cert.pem \ --public-key-outfile public-key.pem \ --private-key-outfile private-key.pem3.2 Java设备端实现设备端使用Eclipse Paho客户端连接IoT CoreMqttClient client new MqttClient( ssl://your-iot-endpoint:8883, device001, new MemoryPersistence()); MqttConnectOptions options new MqttConnectOptions(); options.setSocketFactory(SSLContext.getDefault().getSocketFactory()); options.setCleanSession(true); client.connect(options);重要提示生产环境务必实现证书轮换机制我遇到过因证书过期导致的大规模设备离线事故4. Lambda函数开发4.1 函数处理逻辑使用Java 21的虚拟线程特性处理消息public class DeviceHandler implements RequestHandlerIoTEvent, Void { private static final RedisClient redis RedisClient.create(redis://cache:6379); public Void handleRequest(IoTEvent event, Context context) { try (var scope new StructuredTaskScope.ShutdownOnFailure()) { event.getRecords().forEach(record - { scope.fork(() - processRecord(record)); }); scope.join(); } return null; } private void processRecord(IoTEvent.Record record) { // 处理逻辑 } }4.2 部署配置samconfig.yaml关键配置Timeout: 30 MemorySize: 1024 Environment: Variables: REDIS_HOST: cache-cluster.xxxxxx.ng.0001.use1.cache.amazonaws.com5. DynamoDB数据建模5.1 单表设计物联网场景推荐使用单表设计这是我们的主键设计PKSK其他属性DEVICE#device001METRIC#temperature{...}DEVICE#device001METRIC#humidity{...}5.2 Java SDK操作使用DynamoDB增强客户端DynamoDbTableDeviceMetric table enhancedClient.table( DeviceMetrics, TableSchema.fromBean(DeviceMetric.class)); table.putItem(DeviceMetric.builder() .pk(DEVICE#device001) .sk(METRIC#temperature) .value(25.5) .timestamp(Instant.now()) .build());6. Redis缓存优化6.1 缓存策略设计我们采用两级缓存策略本地缓存Caffeine缓存最近5分钟数据Redis缓存存储热点设备数据TTL 1小时CacheString, DeviceState localCache Caffeine.newBuilder() .expireAfterWrite(5, TimeUnit.MINUTES) .maximumSize(10_000) .build(); StatefulRedisConnectionString, String redisConn redis.connect(); RedisCommandsString, String commands redisConn.sync();6.2 缓存击穿防护使用Redisson实现分布式锁RLock lock redisson.getLock(device:lock: deviceId); try { if (lock.tryLock(1, 10, TimeUnit.SECONDS)) { // 查询数据库 } } finally { lock.unlock(); }7. 性能调优经验7.1 Lambda冷启动优化实测发现这些方法最有效设置适当的MemorySize1024MB性价比最高使用Provisioned Concurrency预留实例精简依赖包大小使用ProGuard混淆7.2 DynamoDB RCU配置根据我们的负载测试结果读密集型1 RCU ≈ 50次/s 强一致性读突发流量启用DynamoDB自动扩展重要提示避免热分区问题设计均匀分布的partition key8. 常见问题排查8.1 连接问题诊断IoT设备连接失败的常见原因证书过期或无效检查证书链策略未附加aws iot list-attached-policies端点地址错误aws iot describe-endpoint8.2 Lambda超时处理遇到超时时的检查清单检查Redis/DynamoDB连接池配置确认VPC配置正确如果有增加Lambda超时时间最大15分钟使用X-Ray跟踪耗时操作9. 安全最佳实践9.1 最小权限原则IoT设备策略示例{ Version: 2012-10-17, Statement: [ { Effect: Allow, Action: [ iot:Connect, iot:Publish ], Resource: [ arn:aws:iot:us-east-1:123456789012:client/${iot:Connection.Thing.ThingName} ] } ] }9.2 数据加密关键加密配置DynamoDB启用KMS加密Redis启用TLS传输加密IoT Core强制使用TLS 1.210. 成本优化技巧根据我们的生产经验IoT Core按消息量计费压缩消息可节省费用DynamoDB使用按需模式应对不确定流量Lambda设置适当的并发限制Redis选择合适节点类型如cache.t3.micro实际项目中这套架构每月处理10亿条消息的成本约$1200比传统EC2方案节省40%以上。最大的成本节省来自Lambda的按需计费和DynamoDB的自动扩展能力。