No es un problema de Delphi, siempre ha pasado esto y es directamente por Windows:
https://docwiki.embarcadero.com/RADS..._the_Pen_Width
Por lo tanto afecta a los programas VCL que basan el "pintado" en la API de Windows.
Si por el contrario lo pruebas en una aplicación Firemonkey verás que el resultado es el esperado, ya que FMX realiza el pintado por su cuenta...
Si deseas conseguir lo que necesitas en VCL, no te queda otra opción que realizar directamente tú el pintado sobre el Canvas, implementando los diferentes estilos de TPen. Si buscas por los foros encontrarás algunas implementaciones que te pueden ayudar:
http://www.delphigroups.info/2/06/196787.html
http://www.delphigroups.info/2/06/200050.html
http://www.delphigroups.info/2/73/85102.html