📊 Analytics Pipeline Architecture

AIUsagePlatform Analytics Pipeline ═══════════════════════════════════════════════════════════════════════════════ ┌─────────────────────────────────────────────────────────────────────────────┐ │ 1. DATA SOURCES │ ├─────────────────────────────────────────────────────────────────────────────┤ │ │ │ ┌───────────────┐ ┌───────────────┐ ┌───────────────┐ │ │ │ Agent Tray │ │ Web Browser │ │ Mobile App │ │ │ │ (C#) │ │ (Future) │ │ (Future) │ │ │ └───────┬───────┘ └───────┬───────┘ └───────┬───────┘ │ │ │ │ │ │ │ │ Session Events │ Page Views │ API Calls │ │ │ - Start/End │ - Navigation │ - Direct usage │ │ │ - AI Detection │ - Time on page │ - Sync events │ │ │ - Window titles │ │ │ │ └───────────────────┴───────────────────┘ │ │ │ │ └──────────────────────────────┼───────────────────────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────────────────────────────────────┐ │ 2. INGESTION LAYER │ ├─────────────────────────────────────────────────────────────────────────────┤ │ │ │ ┌─────────────────────────────────────────────────────────────────────┐ │ │ │ SessionsController │ │ │ │ POST /api/sessions │ │ │ │ • Validate JWT token (UserId, OrgId from claims) │ │ │ │ • Multi-tenant isolation check │ │ │ │ • DTO validation (FluentValidation) │ │ │ │ • Call ISessionService.CreateAsync() │ │ │ └─────────────────────────────────────────────────────────────────────┘ │ │ │ │ ┌─────────────────────────────────────────────────────────────────────┐ │ │ │ ISessionService │ │ │ │ • Business logic validation │ │ │ │ • Enrichment (geo, device info) │ │ │ │ • Call ISessionRepository.AddAsync() │ │ │ └─────────────────────────────────────────────────────────────────────┘ │ │ │ └─────────────────────────────────────────────────────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────────────────────────────────────┐ │ 3. STORAGE LAYER │ ├─────────────────────────────────────────────────────────────────────────────┤ │ │ │ ┌─────────────────────────────────────────────────────────────────────┐ │ │ │ Sessions Table │ │ │ │ ───────────────────────────────── │ │ │ │ Id (PK, Guid) │ UserId (FK, Guid) │ │ │ │ DeviceId (FK, Guid) │ StartTime (DateTime) │ │ │ │ EndTime (DateTime) │ AIUsageTime (TimeSpan) │ │ │ │ TotalTime (TimeSpan) │ IsActive (bool) │ │ │ │ CreatedAt (DateTime) │ UpdatedAt (DateTime) │ │ │ └─────────────────────────────────────────────────────────────────────┘ │ │ │ │ Indexes: │ │ • IX_Sessions_UserId (UserId) │ │ • IX_Sessions_OrganizationId (OrganizationId) │ │ • IX_Sessions_StartTime (StartTime) - For date range queries │ │ ⚠ Missing: IX_Sessions_OrgId_StartTime (composite for analytics) │ │ │ └─────────────────────────────────────────────────────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────────────────────────────────────┐ │ 4. AGGREGATION LAYER │ ├─────────────────────────────────────────────────────────────────────────────┤ │ │ │ BackgroundService (IHostedService) │ │ │ │ │ ├── Hourly: SessionDailySummaryAggregationJob │ │ │ └── Rolls up Sessions → SessionDailySummary │ │ │ (OrganizationId, Date, TotalSessions, TotalAIUsageTime) │ │ │ │ │ ├── Daily: WeeklyAggregationJob │ │ │ └── Rolls up SessionDailySummary → Weekly aggregates │ │ │ │ │ └── Daily: MonthlyAggregationJob │ │ └── Rolls up SessionDailySummary → Monthly aggregates │ │ │ │ ⚠ Current Issues: │ │ • Aggregation jobs not consistently running │ │ • SessionDailySummary underutilized by API layer │ │ • No Redis cache warming │ │ │ └─────────────────────────────────────────────────────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────────────────────────────────────┐ │ 5. QUERY LAYER │ ├─────────────────────────────────────────────────────────────────────────────┤ │ │ │ ┌─────────────────────────────────────────────────────────────────────┐ │ │ │ AnalyticsController │ │ │ │ │ │ │ │ GET /api/analytics → IAIUsageAnalyticsService │ │ │ │ GET /api/analytics/trends → IAIUsageAnalyticsService │ │ │ │ GET /api/adminanalytics/* → IAdminAnalyticsService │ │ │ │ │ │ │ │ Authorization: [Authorize] + [RequiresPlanFeature("Analytics")] │ │ │ │ Rate Limit: 60 req/min │ │ │ └─────────────────────────────────────────────────────────────────────┘ │ │ │ │ Query Pattern: │ │ 1. Extract OrgId from JWT claims │ │ 2. Validate subscription (plan feature check) │ │ 3. Build query (date range, filters) │ │ 4. Execute via Repository (EF Core) │ │ 5. Return DTO (mapped via AutoMapper) │ │ │ │ ⚠ Performance Issues: │ │ • Queries hit raw Sessions table (not SessionDailySummary) │ │ • No query result caching │ │ • N+1 queries in some aggregations │ │ │ └─────────────────────────────────────────────────────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────────────────────────────────────┐ │ 6. FRONTEND LAYER │ ├─────────────────────────────────────────────────────────────────────────────┤ │ │ │ Angular Application (aiusage-app) │ │ │ │ │ ├── DashboardModule │ │ │ └── DashboardService → GET /api/admindashboard │ │ │ └── home.component.ts (KPI cards) │ │ │ │ │ └── AnalyticsModule │ │ └── AnalyticsService → GET /api/analytics/* │ │ └── overview.component.ts (charts, trends) │ │ │ │ Caching Strategy: │ │ • Component-level: 5-minute cache for KPIs (manual implementation) │ │ • No HTTP-level caching (Cache-Control headers not set) │ │ • Opportunity: Angular service worker caching │ │ │ └─────────────────────────────────────────────────────────────────────────────┘

Agent Detection → API Ingestion → Database → Aggregation Job → Dashboard API │ │ │ │ │ │ 30s-2min │ 50-200ms │ 0ms │ 5-15 min │ 50-200ms ▼ ▼ ▼ ▼ ▼ ┌────────────┐ ┌────────────┐ ┌────────────┐ ┌────────────┐ ┌────────────┐ │ Tray Agent │→ │ Sessions │→ │ Sessions │→ │ SessionDaily│→ │ Dashboard │ │ Detects AI │ │ Controller │ │ Table │ │ Summary │ │ Controller │ │ Usage │ │ (validation)│ │ (raw data) │ │ (aggregated)│ │ (queries) │ └────────────┘ └────────────┘ └────────────┘ └────────────┘ └────────────┘ │ ▼ ┌────────────┐ │ Angular │ │ Dashboard │ └────────────┘

User Request → AnalyticsController → AnalyticsService → Repository → Database │ │ │ │ │ │ 50-200ms │ 10-50ms │ 50-500ms │ 50-500ms │ ▼ ▼ ▼ ▼ ▼ ┌─────────┐ ┌──────────────┐ ┌──────────────┐ ┌─────────────┐ ┌───────────┐ │ User │→ │ Validate JWT │→ │ Build Query │→ │ EF Core │→ │ Sessions │ │ Click │ │ Check Plan │ │ Apply Filters│ │ Execute SQL │ │ Table │ │ Chart │ │ Feature Gate │ │ (Date range) │ │ (no cache) │ │ (raw) │ └─────────┘ └──────────────┘ └──────────────┘ └─────────────┘ └───────────┘ │ ▼ ┌───────────────┐ │ Return DTO │ │ (mapped) │ └───────────────┘ ⚠ Warning: This path hits raw Sessions table on every request. Recommendation: Use SessionDailySummary + Redis caching