Studio integrazione in ETL #41

New Issue

2026-09-26T18:05:49Z

mptyl commented

2026-09-26 18:05:49 +00:00

Studio preliminare di quale può essere la gestione dell'integrazione dell'output in un ciclo sql

mptyl added this to the Integrabilità del SQL in ETL milestone 2026-09-26 18:05:49 +00:00

mptyl added the ready-for-human label 2026-09-26 18:05:49 +00:00

mptyl commented

2026-09-26 18:08:03 +00:00

Attualmente THothII arriva alla definizione di uno statement sql, dopodichè chiede se si vuole integrare in etl il datamart, ma non c'è praticamente un follow-up per nessuna possibile conclusione.

Il ramo più semplice è quello che prevede una scrittura del file che include il sql generato, ma anche in questo caso ci sono diverse possibilità:
a) il file viene scritto nel sistema locale (PC, Linux locale o Mac), e occorre quindi solo avere un modo per determinare la cartella dove scrivere, con un default impostato a livello di workspace o di mac/PC (da discutere)
b) ThothII sta girando su un server, per cui la determinazione della cartella deve avvenire sul server stesso
c) il file viene scritto sul server anche se THothII è stato eseguito su un pc/Mac/Linux locale

Se invece la scelta è quella di integrare l'output di ThothII con un processo ETL, occorre verificare come questo può avvenire, cercando di trovare una soluzione parametrica, ma facendo riferimento al progetto ETL di Thoth (~/Chirone/chirone/etl).

E' possibile ipotizzare un service o una cli che fornisca informazioni o si prenda carico della destinazione del sql e suo collocamento nel ciclo etl del server.

E' possibile ipotizzare un MCP da installare sul server dove il file deve essere scaricato ed integrato.

Naturalmente deve essere un web server o qualcosa di simile se da PC o Mac è necessario che lo statement sia integrato nel flusso senza interazione col server.

Insomma, gli assi di analisi sono tre:
a) come deve essere gestito il file contenente il sql generato. Salvato o integrato in un flusso ETL
b) dove avviene la generazione del SQL
c) dove avviene il salvataggio del file contenente lo statement sql.

Sulla base di tutto ciò fai partire un workflow Matt Pocock che parta da un grill-with-docs che ci permetta di sviscerare i problemi, e che arrivi all'implementazione di tutto ciò che è necessario per assolvere il compito che l'utente affiderà a THothII, compresa quindi l'eventuale apertura di un ramo di progetto destinato a rendere disponibile su un server qualunque un servizio o un MCP o una cli destinata all'integrazione

Attualmente THothII arriva alla definizione di uno statement sql, dopodichè chiede se si vuole integrare in etl il datamart, ma non c'è praticamente un follow-up per nessuna possibile conclusione. Il ramo più semplice è quello che prevede una scrittura del file che include il sql generato, ma anche in questo caso ci sono diverse possibilità: a) il file viene scritto nel sistema locale (PC, Linux locale o Mac), e occorre quindi solo avere un modo per determinare la cartella dove scrivere, con un default impostato a livello di workspace o di mac/PC (da discutere) b) ThothII sta girando su un server, per cui la determinazione della cartella deve avvenire sul server stesso c) il file viene scritto sul server anche se THothII è stato eseguito su un pc/Mac/Linux locale Se invece la scelta è quella di integrare l'output di ThothII con un processo ETL, occorre verificare come questo può avvenire, cercando di trovare una soluzione parametrica, ma facendo riferimento al progetto ETL di Thoth (~/Chirone/chirone/etl). E' possibile ipotizzare un service o una cli che fornisca informazioni o si prenda carico della destinazione del sql e suo collocamento nel ciclo etl del server. E' possibile ipotizzare un MCP da installare sul server dove il file deve essere scaricato ed integrato. Naturalmente deve essere un web server o qualcosa di simile se da PC o Mac è necessario che lo statement sia integrato nel flusso senza interazione col server. Insomma, gli assi di analisi sono tre: a) come deve essere gestito il file contenente il sql generato. Salvato o integrato in un flusso ETL b) dove avviene la generazione del SQL c) dove avviene il salvataggio del file contenente lo statement sql. Sulla base di tutto ciò fai partire un workflow Matt Pocock che parta da un grill-with-docs che ci permetta di sviscerare i problemi, e che arrivi all'implementazione di tutto ciò che è necessario per assolvere il compito che l'utente affiderà a THothII, compresa quindi l'eventuale apertura di un ramo di progetto destinato a rendere disponibile su un server qualunque un servizio o un MCP o una cli destinata all'integrazione

Sign in to join this conversation.

1 Participants

Notifications

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: mptyl/ThothII#41