<div><div dir="auto">Streaming XML validation (answers anyone?) </div><div dir="auto"><br></div><div dir="auto"><a href="https://stackoverflow.com/questions/11776056/how-to-validate-large-xml-streams-in-a-way-that-it-creates-chunk-of-stream-read">https://stackoverflow.com/questions/11776056/how-to-validate-large-xml-streams-in-a-way-that-it-creates-chunk-of-stream-read</a></div><br></div><div dir="auto"><div><a href="https://www.di.ens.fr/~segoufin/Papers/Mypapers/streaming-pods.pdf">https://www.di.ens.fr/~segoufin/Papers/Mypapers/streaming-pods.pdf</a></div><br></div><div dir="auto"><div><a href="https://stackoverflow.com/questions/66003045/streaming-xml-schema-validation-using-xsd-files-in-databricks">https://stackoverflow.com/questions/66003045/streaming-xml-schema-validation-using-xsd-files-in-databricks</a></div><div dir="auto"><br></div><div dir="auto">Streaming JSON validation:</div><div dir="auto"><br></div><div dir="auto"><div><a href="https://arxiv.org/abs/2211.08891">https://arxiv.org/abs/2211.08891</a></div></div><div dir="auto"><br></div><div dir="auto"><div><a href="https://github.com/awwright/jsonschemaparse">https://github.com/awwright/jsonschemaparse</a></div><br></div><div dir="auto">When will we see streaming parsers and validators on the web and in Saxon-HE?  </div><div dir="auto"><br></div><div dir="auto">Have you tried converting an 10GB XML file to Python?  Or convert a large JSON file to Java? (Hint, X3DJSONLD requires Ajv, Node.js or an ordinary web JSON parser)</div><div dir="auto"><br></div><div dir="auto">Anyone?</div><div dir="auto"><br></div><div dir="auto">No one?</div><br></div><div dir="auto">Am I alone?</div><div dir="auto"><br></div><div dir="auto">John </div><div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Oct 2, 2023 at 10:26 PM John Carlson <<a href="mailto:yottzumm@gmail.com">yottzumm@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;padding-left:1ex;border-left-color:rgb(204,204,204)">Document model seen as fundamentally limited.  The Metaverse is too big to fit in a Document.  Request/Response of HTTP/HTTPS seen as flawed, multi-request/multi-response (DIS?) preferred.<div dir="auto"><br></div><div dir="auto">We should move post-haste to solutions like DIS, VRML, SAI, Streaming API for XML (StAX), and streaming JSON parsers, and streaming validators.</div><div dir="auto"><br></div><div dir="auto">Things like DOM are unworkable for large streaming assets. Imagine a live feed with real-time animation over a period of hours.  A concert, for example.  Imagine several BVH files being streamed live—you’ve got to drop some portion or compress the file.</div><div dir="auto"><br></div><div dir="auto">Think of streaming solutions like JavaScript and Python.  Not something that fits in a single file, or outputs a single document, but something that consumes or emits a stream.  SAI is the right approach, but call it the Streaming Access Interface.</div><div dir="auto"><br></div><div dir="auto">Ever have a JSON file that was too large to parse?  Many JSON parsers assume that they can pass back a single object.  What if that object is too big for memory?  What happens?  We should focus on Streaming parsers for JSON and XML.  Don’t worry about duplicating keys!</div><div dir="auto"><br></div><div dir="auto">Current “create only” solutions do not fit the real world.  Updates and deletes with SAI and DIS should be considered.  Reduce, Reuse, Recycle.  Systems that do not provide update and delete are flawed.  No plastics filling up my SSD, please!</div><div dir="auto"><br></div><div dir="auto">Yes, we will still support non-streaming technology, with a limited file size.  I recommend specifying a Content-Length on limited sized files.</div><div dir="auto"><br></div><div dir="auto">Maybe I should get a faster bus/disk?</div><div dir="auto"><br></div><div dir="auto">Is MSF listening, or are they doomed too?</div><div dir="auto"><br></div><div dir="auto">John</div><div dir="auto"><br></div><div dir="auto"><br></div>
</blockquote></div></div>