<div dir="ltr">Changing everything to https:// (2 fields per file, I think) sounds like a lot of work.  I have only changed DOCTYPE in my examples, and I did it all by hand.  I cannot imagine doing it on 3000 or more examples, unless you can do it with X3DTidy or similar.<div><br></div><div>I suggest you create a small script that will run on Windows Terminal (WSL, Ubuntu), Linux Bash, and MacOSX zsh for all those who have ANY http: marked content.  This is Huge, and may cause significant downtime for many people.</div><div><br></div><div>I am surprised you are not shouting LOUDER!</div><div><div><br></div><div>John</div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sat, Sep 19, 2020 at 7:45 PM Don Brutzman <<a href="mailto:brutzman@nps.edu">brutzman@nps.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Special thanks to Vince Marchetti who tracked down and fixed the unintended redirects from http to https that thwarted operation of regression testing and other validation tools.<br>
<br>
[1] X3D Specifications: Schema and DOCTYPE Validation<br>
     <a href="https://www.web3d.org/specifications" rel="noreferrer" target="_blank">https://www.web3d.org/specifications</a><br>
<br>
Full regression testing in progress for all models in X3D Example Archives, with all tests so far are passing as expected.<br>
<br>
[2] X3D Resources, Examples: Scene Archives for X3D<br>
     <a href="https://www.web3d.org/x3d/content/examples/X3dResources.html#Examples" rel="noreferrer" target="_blank">https://www.web3d.org/x3d/content/examples/X3dResources.html#Examples</a><br>
<br>
Looking ahead: subject to X3D Working Group discussion and confirmation, I expect that all of our recommended "http" addresses for DOCTYPE and XML Schema should be upgraded to https.<br>
<br>
[3] X3D Scene Authoring Hints: Validation of X3D Scenes using DTD and XML Schema<br>
     <a href="https://www.web3d.org/x3d/content/examples/X3dSceneAuthoringHints.html#Validation" rel="noreferrer" target="_blank">https://www.web3d.org/x3d/content/examples/X3dSceneAuthoringHints.html#Validation</a><br>
<br>
Please advise if anyone has concerns with this approach.<br>
<br>
Considering pros and cons:  additional security for X3D4 models is no problem.  Backwards compatibility for X3D3 XML models seems fully workable since both http-served and https-served copies of these files remain available.  Improved file security (avoiding any possibility of Man In The Middle attacks on our URIs) is good.<br>
<br>
[4] Wikipedia: Man-in-the-middle attack<br>
     <a href="https://en.wikipedia.org/wiki/Man-in-the-middle_attack" rel="noreferrer" target="_blank">https://en.wikipedia.org/wiki/Man-in-the-middle_attack</a><br>
<br>
Absent objections, I hope to accomplish this change from http to https for DOCTYPE and XML Schema to all published content this month.<br>
<br>
<br>
On 9/13/2020 4:34 PM, Don Brutzman wrote:<br>
> Again thanks for helpful diagnosis.<br>
> <br>
> I have been able to modify the X3D Validator so that if http:// is used for XML DOCTYPE or XML Schema, they get replaced with https:// instead before working on the full model for validation.  Seems to work OK.<br>
> <br>
> [1] X3D Validator<br>
>      <a href="https://savage.nps.edu/X3dValidator/validate" rel="noreferrer" target="_blank">https://savage.nps.edu/X3dValidator/validate</a><br>
>      "The X3D Validator performs comprehensive Quality Assurance (QA) testing to ensure the validity of X3D3 and X3D4 models."<br>
> <br>
> Meanwhile despite work with XML Catalog and other techniques, am unable to get SAX-based Java tools to work with the redirect.  This breaks the majority of our regression tests and conversion stylesheets.<br>
> <br>
> So one tool is fixed, and XML Spy was adept, but many others are now blocked from using X3D models.<br>
> <br>
> Therefore the immediate path forward is:<br>
> <br>
> a. Restore direct access to standardized-url DOCTYPE and schema.  Fileset patterns are<br>
> <br>
>      <a href="http://www.web3d.org/specifications/x3d-*.dtd" rel="noreferrer" target="_blank">http://www.web3d.org/specifications/x3d-*.dtd</a><br>
>      <a href="http://www.web3d.org/specifications/x3d-*.xsd" rel="noreferrer" target="_blank">http://www.web3d.org/specifications/x3d-*.xsd</a><br>
> <br>
> and the long-term path forward is:<br>
> <br>
> b. X3D Working Group consider specification change to all relevant X3D XML Encoding DOCTYPE and Schema references to support https:// as well.  Encouraging strong security seems like a good idea for all versions of X3D.<br>
> <br>
> Further trouble reports and feedback welcome.  Again apologies for all lost development time, hopefully the server configuration for doctype and schema will be restored soon.<br>
> <br>
> <br>
> On 9/12/2020 7:34 PM, <a href="mailto:vmarchetti@kshell.com" target="_blank">vmarchetti@kshell.com</a> wrote:<br>
>><br>
>><br>
>> As observed at 10:20 PM EDT on 12 Sept 2020<br>
>><br>
>> A HTTP request to <a href="https://www.web3d.org/specifications/x3d-3.3.dtd" rel="noreferrer" target="_blank">https://www.web3d.org/specifications/x3d-3.3.dtd</a> made with the curl tool (on Mac OS) returns the 142k DTD file, appears well formed<br>
>><br>
>> The request to the http (unencrypted, discouraged by modern browsers) <a href="http://www.web3d.org/specifications/x3d-3.3.dtd" rel="noreferrer" target="_blank">http://www.web3d.org/specifications/x3d-3.3.dtd</a> returns a redirect HTTP response, with headers:<br>
>><br>
>> HTTP/1.1 302 Found<br>
>> Date: Sun, 13 Sep 2020 02:15:33 GMT<br>
>> Server: Apache<br>
>> X-Content-Type-Options: nosniff<br>
>> Location: <a href="https://www.web3d.org/specifications/x3d-3.3.dtd" rel="noreferrer" target="_blank">https://www.web3d.org/specifications/x3d-3.3.dtd</a><br>
>> Cache-Control: max-age=1209600<br>
>> Expires: Sun, 27 Sep 2020 02:15:33 GMT<br>
>> Content-Length: 232<br>
>> Content-Type: text/html; charset=iso-8859-1<br>
>><br>
>><br>
>> and the body of the HTTP response is an HTML-markup version of this information, so not well formed DTD.<br>
>><br>
>> It appears that some of the validation tools will follow the redirect and some will not.<br>
>><br>
>> I do not know if the server configuration has been changed recently to redirect requests to URLS  in <a href="http://www.web3d.org/specifications/*" rel="noreferrer" target="_blank">http://www.web3d.org/specifications/*</a> space.<br>
>><br>
>> Request for our webpages i.e. <a href="http://www.web3d.org/" rel="noreferrer" target="_blank">http://www.web3d.org/</a> have been redirected for some time.<br>
>><br>
>> Solutions to this problem would be<br>
>><br>
>> -- allow server to directly server requests to <a href="http://www.web3d.org/specifications/*" rel="noreferrer" target="_blank">http://www.web3d.org/specifications/*</a> without redirection<br>
>> -- update or configure tools to follow HTTP 302 redirections<br>
>><br>
>> Vince Marchetti<br>
>><br>
>>> On Sep 12, 2020, at 7:55 PM, Don Brutzman <<a href="mailto:brutzman@nps.edu" target="_blank">brutzman@nps.edu</a>> wrote:<br>
>>><br>
>>> We noticed an emergent problem with X3D Validator about a week ago and, with difficulty, have been trying to sleuth what the root cause might be.<br>
>>><br>
>>> After multiple diagnostic efforts, we now think that the problem is on the <a href="http://web3d.org" rel="noreferrer" target="_blank">web3d.org</a> server, there is some issue within the DTD files themselves.  Unfortunately there is also a problem with my account which currently prevents troubleshooting further and (hopefully) fixing it.<br>
>>><br>
>>> This problem has blocked proper DTD validation, which might in turn block validation of numerous tools loading/validating X3D models.  Have confirmed that some tools work (probably due to prior caching) and other tools fail. Example failure output:<br>
>>><br>
>>>> check well-formedness<br>
>>>> <a href="http://www.web3d.org/specifications/x3d-3.3.dtd:1:3" rel="noreferrer" target="_blank">http://www.web3d.org/specifications/x3d-3.3.dtd:1:3</a>: The markup declarations contained or pointed to by the document type declaration must be well-formed.<br>
>>>> Could not validate document C:\x3d-code\<a href="http://www.web3d.org" rel="noreferrer" target="_blank">www.web3d.org</a>\x3d\content\examples\X3dForWebAuthors\HelloWorld.x3d: org.xml.sax.SAXParseExceptionpublicId: ISO//Web3D//DTD X3D 3.3//EN; systemId: <a href="http://www.web3d.org/specifications/x3d-3.3.dtd" rel="noreferrer" target="_blank">http://www.web3d.org/specifications/x3d-3.3.dtd</a>; lineNumber: 1; columnNumber: 3; The markup declarations contained or pointed to by the document type declaration must be well-formed.<br>
>>>> C:\x3d-code\<a href="http://www.web3d.org" rel="noreferrer" target="_blank">www.web3d.org</a>\x3d\content\examples\X3dForWebAuthors\HelloWorld.x3d is not a valid XML document<br>
>>><br>
>>> Meanwhile XML Spy can validate the same model successfully.  It is both exceptionally strict and also added native X3D support a few months back.  So this approach confirms that X3D models we are testing remain unchanged and correct.<br>
>>><br>
>>> Web3D Communications Team and webmaster have been notified about the access problem preventing further troubleshooting.<br>
>>><br>
>>> The DOCTYPE problem does not appear to prevent successful X_ITE and X3DOM display of X3D models.<br>
>>><br>
>>> * <a href="https://x3dgraphics.com/examples//X3dForWebAuthors/Chapter02GeometryPrimitives/BoxExampleX_ITE.html" rel="noreferrer" target="_blank">https://x3dgraphics.com/examples//X3dForWebAuthors/Chapter02GeometryPrimitives/BoxExampleX_ITE.html</a><br>
>>> * <a href="https://x3dgraphics.com/examples//X3dForWebAuthors/Chapter02GeometryPrimitives/BoxExampleX3dom.xhtml" rel="noreferrer" target="_blank">https://x3dgraphics.com/examples//X3dForWebAuthors/Chapter02GeometryPrimitives/BoxExampleX3dom.xhtml</a><br>
>>><br>
>>> Once this is also sorted out, will post regarding resumption of capability.  Apologies for any difficulties this problem causes tool developers and scene modelers.<br>
>>><br>
>>> all the best, Don<br>
>>> -- <br>
>>> Don Brutzman  Naval Postgraduate School, Code USW/Br       <a href="mailto:brutzman@nps.edu" target="_blank">brutzman@nps.edu</a><br>
>>> Watkins 270,  MOVES Institute, Monterey CA 93943-5000 USA   +1.831.656.2149<br>
>>> X3D graphics, virtual worlds, navy robotics <a href="http://faculty.nps.edu/brutzman" rel="noreferrer" target="_blank">http://faculty.nps.edu/brutzman</a><br>
>>><br>
>>> _______________________________________________<br>
>>> communications mailing list<br>
>>> <a href="mailto:communications@web3d.org" target="_blank">communications@web3d.org</a><br>
>>> <a href="http://web3d.org/mailman/listinfo/communications_web3d.org" rel="noreferrer" target="_blank">http://web3d.org/mailman/listinfo/communications_web3d.org</a><br>
>><br>
> <br>
> all the best, Don<br>
<br>
all the best, Don<br>
-- <br>
Don Brutzman  Naval Postgraduate School, Code USW/Br       <a href="mailto:brutzman@nps.edu" target="_blank">brutzman@nps.edu</a><br>
Watkins 270,  MOVES Institute, Monterey CA 93943-5000 USA   +1.831.656.2149<br>
X3D graphics, virtual worlds, navy robotics <a href="http://faculty.nps.edu/brutzman" rel="noreferrer" target="_blank">http://faculty.nps.edu/brutzman</a><br>
<br>
_______________________________________________<br>
x3d-public mailing list<br>
<a href="mailto:x3d-public@web3d.org" target="_blank">x3d-public@web3d.org</a><br>
<a href="http://web3d.org/mailman/listinfo/x3d-public_web3d.org" rel="noreferrer" target="_blank">http://web3d.org/mailman/listinfo/x3d-public_web3d.org</a><br>
</blockquote></div>