Lister: Unicode ab Win7

[Dalai]

Hallo Leute ,

eine Sache geht mir immer häufiger auf den Senkel, wenn ich an einem System mit Win7 oder höher arbeiten muss: der lahme Bildaufbau im Lister, wenn man beim Betrachten von "Binärdateien" auf Unicode schaltet, vor allem im Vergleich zu XP und älter. Um eines gleich vorwegzunehmen: es geht hier nicht um Textdateien (TXT, REG, INI) sondern ausschließlich um "Binärdateien", also EXE, DLL, SQLITE usw.

Nun weiß ich bereits, dass die angezeigten Zeichen von der im Lister eingestellten Schriftart abhängen, und weil die Schrift offenbar mehr Zeichen enthält als unter früheren Windows-Versionen, werden die alle geladen, was dann seine Zeit dauert (und nebenbei die CPU ziemlich stark belastet). Auch eine Änderung der Schriftart hab ich ausprobiert, aber das änderte am Grundproblem nichts.

Fragen:

• Kann man den Bildaufbau für die Unicode-Anzeige im Lister irgendwie beschleunigen?
• Kann man, wenn man schonmal dabei ist, die Anzeige so reduzieren, dass nur die relevanten Zeichen angezeigt werden, nicht dieses Chinesisch, das eh nicht von Belang ist? Eine Anzeige wie unter XP mit den Quadraten/Rechtecken wäre klasse (und auch um Faktoren schneller). Falls jemand nicht weiß, was ich meine, so mache ich gern Screenshots, um den Unterschied zu verdeutlichen.

Bevor ich's vergesse: Uniscribe ist bereits deaktiviert.

MfG Dalai

[milo1012]

Da wäre meine erste Frage:
Wieso willst du Unicode-Strings in Binärdateien sehen, versuchst dabei aber alle Zeichen als UTF-16 interpretieren zu lassen?
Es ist klar das es ein wildes Durcheinander von Sprach-Skipten, und vermutlich kombinierenden Zeichen ist.
Jedenfalls kann ich mit geübtem Auge Unicode-Strings auch in der normalen Ansicht sehen.

Wie dem auch sei.
Wäre die einfachste Lösung nicht::
Sobald auf Unicode geschaltet wird: S drücken?
Alle ASCII-Zeichen sind dann noch sichtbar, aber es wird nicht wild versucht alles als UTF-16 zu interpretieren.

Beschleunigen dürfte nicht gehen.
Die berühmten Platzhalter-Quadrate sind nur wieder da, wenn du die Systemschriftart änderst/austauschst.

[Dalai]

Wieso willst du Unicode-Strings in Binärdateien sehen, versuchst dabei aber alle Zeichen als UTF-16 interpretieren zu lassen?

Ganz einfach: Weil es unter den älteren Windosen auch so geht, und ich das bisher so gewohnt bin.

Jedenfalls kann ich mit geübtem Auge Unicode-Strings auch in der normalen Ansicht sehen.

Ja, aber ohne die Nullbytes nach jedem Buchstaben ist es doch deutlich einfacher und komfortabler zu lesen.

Wäre die einfachste Lösung nicht::
Sobald auf Unicode geschaltet wird: S drücken?

Die Kombination kannte ich noch nicht, sieht aber wie ein einigermaßen gangbarer Weg aus. Schneller ist es jedenfalls. Ich muss mir das nur merken, und da muss ich erstmal sehen, ob das klappt .

Alle ASCII-Zeichen sind dann noch sichtbar, aber es wird nicht wild versucht alles als UTF-16 zu interpretieren.

Allerdings zeigt sich damit sofort der erste Nachteil: Umlaute gehen dadurch - zumindest visuell - kaputt. OK, immer noch besser als "ewig" auf den Bildaufbau zu warten.

Die berühmten Platzhalter-Quadrate sind nur wieder da, wenn du die Systemschriftart änderst/austauschst.

Kann man das denn einfach ändern, indem man eine weitere Schriftart im System installiert und die dann im Lister wählt? Welche Eigenschaften müsste die denn haben? Schließlich sind die für ANSI zugelassenen/wählbaren Schriftarten nicht gerade zahlreich...

MfG Dalai

[milo1012]

Kann man das denn einfach ändern, indem man eine weitere Schriftart im System installiert und die dann im Lister wählt? Welche Eigenschaften müsste die denn haben?

Sie muss funktionieren
Nein im Ernst, einfach ausprobieren.
Ich denke es sollten zumindest alle "Western"-Skripte enthalten sein, also Umlaute, Akzentzeichen und Co.
Wenn du eine nimmst die möglichst viele Unicode-Zeichen enthält, geht das Render-Problem ja wieder von vorne los.

Du kannst natürlich auch die Systemschriftarten ändern.
Problem ist dass spätestens ab NT 6.0 / Vista einige für die Shell benötigte Symbole in den Schriftarten enthalten sind.
Vor allem in Segoe UI und in allen Untervarianten.
So ist z.B. die Internet Explorer Scroll-Leiste von der Schriftart abhängig,
was ich merkte als ich beim ersten Umstieg auf Win7 den alten XP-Look wiederherstellen wollte.

[Dalai]

Nein im Ernst, einfach ausprobieren.

Äh, das würde ich gerne. Aber TC bietet doch nur 5 Schriften an für ANSI. Das meinte ich mit "Eigenschaften, die die Schrift erfüllen muss", damit sie auswählbar wird. Fixedsys Excelsior jedenfalls geht schonmal nicht, denn TC zeigt diese nur bei "variabel" an.

MfG Dalai

[milo1012]

Hm, bei mir kann ich alle sehen
...ach so...
du nimmst nicht die variable Buchstabenbreite (Shortcut V).

Klar, dann werden nur Schriftarten mit gleicher Zeichenbreite zur Wahl angezeigt.
Ich denke das kann nur Christian eindeutig beantworten, aber:
Es wird eindeutig die API-Funktion ChooseFont benutzt.
Dort kann man Flags für Filter setzen, bei der mal mehr, mal weniger Schriften unter den Tisch fallen .

Für die ANSI-Schriftart wird vermutlich z.B. CF_ANSIONLY und CF_FIXEDPITCHONLY gesetzt, was einige wegfiltert.
Und CF_FIXEDPITCHONLY heißt eben: gleiche Zeichenbreite, also alle Schriftarten mit variabler Breite fallen weg.

Wie du bei einer Schriftart feststellst ob sie nicht-proportional ist, musst du selbst rausfinden.

[Dalai]

...ach so...
du nimmst nicht die variable Buchstabenbreite (Shortcut V).

Natürlich nicht. Variable Breiten haben zwar auch ihre Berechtigung (z.B. bei der Textverarbeitung), aber im Lister und beim Programmieren haben die nichts verloren, jedenfalls ist das bei mir so.

Wie du bei einer Schriftart feststellst ob sie nicht-proportional ist, musst du selbst rausfinden.

Tja, aber wie mache ich das, ohne zich Schriftarten durchzuprobieren? Eigentlich sollte ja Fixedsys Excelsior ebenfalls eine solche sein, aber TC zeigt sie nicht zur Auswahl an. Vermutlich weil das keine reine ANSI-Schriftart ist sondern bereits Unicode-Gedöns enthält. Prima, irgendwie ist diese Situation unbefriedigend.

MfG Dalai

[milo1012]

Soweit ich weiß kontrolliert Windows jedes Zeichen auf die Breite,
und schon wenn eins davon aus dem Rahmen fällt, dann fällt auch die ganze Schriftart dem Filter zum Opfer.

Also entweder ist Fixedsys Excelsior nicht so ganz wie es beworben wird, oder es gibt noch andere Faktoren die zu berücksichtigen sind.
Wie gesagt, der Filter könnte noch mehr Elemente beinhalten, was nur Christian beantworten kann.
Übrigens:
http://ghisler.ch/board/viewtopic.php?t=13343



Update: Source Code Pro z.B. geht, und sieht ganz gut aus wie ich finde,
hat aber eben auch viele Unicode-Zeichen und damit das alte Problem.



Aber unabhängig davon:
Tatsächlich kenne ich keine Möglichkeit, blanke TTF/OTF-Dateien auf deren Eigenschaften, im Hinblick auf die Win-API, zu überprüfen.

Variable Breiten haben zwar auch ihre Berechtigung (z.B. bei der Textverarbeitung), aber im Lister und beim Programmieren haben die nichts verloren, jedenfalls ist das bei mir so.

Für's Programmieren stimme ich zu, beim allgemeinen Betrachten dürfte das aber eher Geschmackssache sein.
Ich benutze den Lister aber auch nur selten für die "Rohbetrachtung" von Dateien.

[Dstruct]

Probier mal Unifont:
http://unifoundry.com/unifont.html
http://unifoundry.com/pub/unifont-8.0.01/font-builds/unifont-8.0.01.ttf


Musst Du nur manuell für fixe Breite für den Lister eintragen:

wincmd.ini

[Lister]
Font1=Unifont,-16
Font2=Unifont,-16
Font3=Unifont,-16

[Dalai]

2Dstruct
Es geht mir nicht darum, eine Schriftart mit Unicode-Zeichen zu finden. Ich brauche eher das Gegenteil: eine, die nur ANSI-Zeichen enthält. Davon abgesehen ist eine fehlende Auswahl der Schrift via GUI ein KO-Kriterium (hab's ausprobiert, aber TC bietet die Schrift bei keiner Auswahl an).

Ich glaube aber mittlerweile, dass sich die Sache nicht so einfach lösen lässt, weil Windows offenbar fehlende Zeichen aus anderen Schriften substituiert. Jedenfalls bekomme ich diesen Eindruck, wenn ich die Schriftdateien mit dem Font-Plugin anschaue. Egal welche Schrift man öffnet, die ersten 20 bis 30 Zeichen sehen (fast) immer gleich aus, was ja nicht sein kann. Klar, könnte auch am Plugin liegen, dazu kenne ich mich zu wenig mit der Thematik aus (in dem Feld bin ich nur dummer Anwender).

MfG Dalai

[milo1012]

Es sind ja eigentlich nicht die Zeichen die die Schriftart bietet, sondern das Schrift-Skript, was entscheidend ist.
Standardschriftart für OEM (was im TC mit ASCII bezeichnet wird, was aber Unsinn ist, da die OEM-Codepage (die alte DOS-Codepage) gemeint ist)
ist z.B. "Terminal", was eben (nur) das OEM/DOS-Skript zur Auswahl bietet.

Du kannst z.B. "Terminal" oder GwdTE_437 für variable Zeichenbreite nehmen, dann wird eine fixe Breite forciert.

Hier ein Überblick über gute Fixed-width-Schriften.

Tatsächlich kenne ich keine Möglichkeit, blanke TTF/OTF-Dateien auf deren Eigenschaften, im Hinblick auf die Win-API, zu überprüfen.

Okay, ein wenig Licht ins Dunkel:
Hier gibt es ein MS-Tool was die Eigenschaften sehr viel genauer anzeigt
Hier ein kleines Konsolenprogramm, welches tatsächlich alle nicht-proportionale Schriften für die WinAPI listet.
(beides auf o.G. Seite verlinkt)

[Dalai]

Es sind ja eigentlich nicht die Zeichen die die Schriftart bietet, sondern das Schrift-Skript, was entscheidend ist.

Ist es das? Bei allen ist natürlich "Westlich" eingestellt. Aber selbst wenn ich z.B. Lucida Console mit Skript "Mitteleuropäisch" wähle, sehe ich beim Umschalten auf Unicode eben nicht nur mitteleuropäische Zeichen sondern auch Chinesisch, Arabisch und was sonst noch so existiert. Mit Substitution meinte ich sowas wie in diesem Thread diskutiert wurde, schön zu sehen am Screenshot im letzten Beitrag.

Du kannst z.B. "Terminal" oder GwdTE_437 für variable Zeichenbreite nehmen, dann wird eine fixe Breite forciert.

Nee, ich will schon die Option für eine Schrift mit variabler Breite beibehalten, auch wenn ich die selten benutze.

Hier ein Überblick über gute Fixed-width-Schriften.

Ah, interessant, danke! Ich hab mal die dort verlinkte Fixedsys TTF Monospace ausprobiert, und stelle fest, dass selbst die keine relevante Veränderung bringt.

Okay, ein wenig Licht ins Dunkel:
Hier gibt es ein MS-Tool was die Eigenschaften sehr viel genauer anzeigt

Mmh, taugt leider nur für die .ttf, nicht für .fon Dateien.

Hier ein kleines Konsolenprogramm, welches tatsächlich alle nicht-proportionale Schriften für die WinAPI listet.
(beides auf o.G. Seite verlinkt)

Damit kommen wir der Sache schon etwas näher. Ausgabe von meinem XP:

Code: Select all

Terminal        : 9 5 6 14 12
Fixedsys        : 9
WST_Czec        : 9 18
WST_Engl        : 9 18
WST_Fren        : 9 18
WST_Germ        : 9 18
WST_Ital        : 9 18
WST_Span        : 9 18
WST_Swed        : 9 18
Courier         : 10 12 15
Courier New     : 8 9 10 11 12 14 16 18 20 22 24 26 28 36 48 72
Lucida Console  : 8 9 10 11 12 14 16 18 20 22 24 26 28 36 48 72
Bitstream Vera Sans Mono Bold: 8 9 10 11 12 14 16 18 20 22 24 26 28 36 48 72
Liberation Mono Bold Italic: 8 9 10 11 12 14 16 18 20 22 24 26 28 36 48 72
DejaVu Sans Mono Oblique: 8 9 10 11 12 14 16 18 20 22 24 26 28 36 48 72

Das Win7 gibt wesentlich mehr Schriften aus, darunter auch viele nicht-westliche:

Code: Select all

Terminal        : 9 5 6 14 12
Fixedsys        : 9
Courier         : 10 12 15
BatangChe       : 8 9 10 11 12 14 16 18 20 22 24 26 28 36 48 72
@BatangChe      : 8 9 10 11 12 14 16 18 20 22 24 26 28 36 48 72
GungsuhChe      : 8 9 10 11 12 14 16 18 20 22 24 26 28 36 48 72
@GungsuhChe     : 8 9 10 11 12 14 16 18 20 22 24 26 28 36 48 72
Courier New     : 8 9 10 11 12 14 16 18 20 22 24 26 28 36 48 72
GulimChe        : 8 9 10 11 12 14 16 18 20 22 24 26 28 36 48 72
@GulimChe       : 8 9 10 11 12 14 16 18 20 22 24 26 28 36 48 72
DotumChe        : 8 9 10 11 12 14 16 18 20 22 24 26 28 36 48 72
@DotumChe       : 8 9 10 11 12 14 16 18 20 22 24 26 28 36 48 72
Lucida Console  : 8 9 10 11 12 14 16 18 20 22 24 26 28 36 48 72
MingLiU         : 8 9 10 11 12 14 16 18 20 22 24 26 28 36 48 72
@MingLiU        : 8 9 10 11 12 14 16 18 20 22 24 26 28 36 48 72
MS Gothic       : 8 9 10 11 12 14 16 18 20 22 24 26 28 36 48 72
@MS Gothic      : 8 9 10 11 12 14 16 18 20 22 24 26 28 36 48 72
MS Mincho       : 8 9 10 11 12 14 16 18 20 22 24 26 28 36 48 72
@MS Mincho      : 8 9 10 11 12 14 16 18 20 22 24 26 28 36 48 72
NSimSun         : 8 9 10 11 12 14 16 18 20 22 24 26 28 36 48 72
@NSimSun        : 8 9 10 11 12 14 16 18 20 22 24 26 28 36 48 72
SimSun-ExtB     : 8 9 10 11 12 14 16 18 20 22 24 26 28 36 48 72
@SimSun-ExtB    : 8 9 10 11 12 14 16 18 20 22 24 26 28 36 48 72
Simplified Arabic Fixed: 8 9 10 11 12 14 16 18 20 22 24 26 28 36 48 72
Miriam Fixed    : 8 9 10 11 12 14 16 18 20 22 24 26 28 36 48 72
Rod             : 8 9 10 11 12 14 16 18 20 22 24 26 28 36 48 72
FangSong        : 8 9 10 11 12 14 16 18 20 22 24 26 28 36 48 72
@FangSong       : 8 9 10 11 12 14 16 18 20 22 24 26 28 36 48 72
SimHei          : 8 9 10 11 12 14 16 18 20 22 24 26 28 36 48 72
@SimHei         : 8 9 10 11 12 14 16 18 20 22 24 26 28 36 48 72
KaiTi           : 8 9 10 11 12 14 16 18 20 22 24 26 28 36 48 72
@KaiTi          : 8 9 10 11 12 14 16 18 20 22 24 26 28 36 48 72
DFKai-SB        : 8 9 10 11 12 14 16 18 20 22 24 26 28 36 48 72
@DFKai-SB       : 8 9 10 11 12 14 16 18 20 22 24 26 28 36 48 72
Consolas        : 8 9 10 11 12 14 16 18 20 22 24 26 28 36 48 72
Fixedsys TTF V5.00c: 8 9 10 11 12 14 16 18 20 22 24 26 28 36 48 72

Aber so richtig weiter bringt mich das auch nicht. Ich habe nun - natürlich nach einer Sicherung - im Registry-Zweig "HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows NT\CurrentVersion\Fonts" alles gelöscht, was auf nicht-westliche Schriften hinweist, das System neu gestartet und dann nochmals das enumfixedfonts aufgerufen. Das Ergebnis ist überschaubar

Code: Select all

Terminal        : 9 5 6 14 12
Fixedsys        : 9
Courier         : 10 12 15
Courier New     : 8 9 10 11 12 14 16 18 20 22 24 26 28 36 48 72
Lucida Console  : 8 9 10 11 12 14 16 18 20 22 24 26 28 36 48 72
Miriam Fixed    : 8 9 10 11 12 14 16 18 20 22 24 26 28 36 48 72
Rod             : 8 9 10 11 12 14 16 18 20 22 24 26 28 36 48 72
Consolas        : 8 9 10 11 12 14 16 18 20 22 24 26 28 36 48 72
Fixedsys TTF V5.00c: 8 9 10 11 12 14 16 18 20 22 24 26 28 36 48 72

aber an der Darstellung im Unicode-Modus ändert sich nichts.

Selbst in der Win7-Reparaturumgebung sieht die Darstellung anders als als in einem XP. Auch wenn in ersterem nur eine Handvoll Schriften vorhanden/benutzbar sind, haben die Zeichen auch dort nicht dieselbe Breite.

MfG Dalai

[milo1012]

Mit Substitution meinte ich sowas wie in diesem Thread diskutiert wurde, schön zu sehen am Screenshot im letzten Beitrag.

Dieser Thread sagt auch nur was ich schon weiter oben meinte: Vista+ hat das Schriftart-Rendering
wesentlich besser auf Unicode abgestimmt, weswegen du vermutlich nur mit bösen Hacks das XP-Verhalten wiederherstellen kannst.
Ich meine mich zu erinnern, vor einigen Jahren ein ganzes Software-Paket gesehen zu haben,
was versucht hat sämtliche Font-Mechanismen von Vista+ auf XP zurückzuschrauben, nur leider finde ich es nicht mehr.

Aber selbst wenn: Unicode ist eine feine Sache, ich möchte die bessere Unterstützung in Win7 und Co. nicht missen,
und wie schon gesagt dürfte so ein Komplettaustausch viele andere Probleme mit sich bringen.

Ich glaube das wird auf Dauer nichts.
Mit "S" auf OEM-Ansicht umzuschalten ("ASCII"), wobei "Terminal" benutzt wird, würde mir persönlich völlig ausreichen.

Ich bin eben auch nicht sicher was genau die Ursache ist: Uniscribe (was du ja ausgeschaltet hast), DirectWrite,
die "Font Substitutes" (HKLM->Software->Microsoft->Windows NT->Current Version->FontSubstitutes), oder prinzipiell die GDI-Schnittstelle die TC benutzt.
Christian könnte sich dazu vielleicht mal äußern.

Im Prinzip könnte man ein Plug-in schreiben, was, ebenso wie "6" im Lister, alles als UTF-16 interpretiert, sich bei der Darstellung aber auf die lokalen Codepage-Zeichen beschränkt.

[Dalai]

Aber selbst wenn: Unicode ist eine feine Sache, ich möchte die bessere Unterstützung in Win7 und Co. nicht missen

Das möchte ich auch nicht. Ich find's klasse, dass mein Services2-Plugin mit chinesischer Sprachdatei auf einem deutschen Win7 sauber aussieht, auch wenn ich davon nichts lesen kann . Es geht mir nur um den Lister in Unicode-Ansicht.

Ich glaube das wird auf Dauer nichts.
Mit "S" auf OEM-Ansicht umzuschalten ("ASCII"), wobei "Terminal" benutzt wird, würde mir persönlich völlig ausreichen.

Darauf wird es (vorläufig) hinauslaufen.

Christian könnte sich dazu vielleicht mal äußern.

Eben darauf warte ich . Wahrscheinlich ist es bereits zuviel Diskussion bisher .

MfG Dalai