לאחרונה אני מוצא את עצמי מפתח הרבה בפיתון, ואני מוצא את עצמי מאוד מתוסכל מזה.
אני מרגיש כאילו פיתון שמה לי רגליים ומקשה עלי מאוד לפתח. כל פעולה הכי קטנה, דורשת ממני המון אנרגיה, לרוב, כי זה לא מרגיש לי מספיק אינטואיטיבי.

פוסט זה, נועד עבורי, בשביל "להוציא קיטור". הוא לא נועד לפגוע באנשים שאוהבים פיתון, אבל הוא מציג את הקשיים שאני חווה במעבר בין השפות.

אז מה לא אינטואיטיבי עבורי?  הכל
סתם, הנה הדגמה קטנה לרובי:

[1, 2, 3, 4].each_with_index do |elem, idx|
   puts "arr[#{idx}]=#{elem}"
end

המקביל (למעט שימוש ב format string) של זה בפיתון:

for idx, elem in enumerate([1, 2, 3, 4]):
    print('arr[{}]={}'.format(idx, elem))

לפני שאסביר מה מפריע לי, בואו נראה איך זה יתבצע ב ES6 למשל:

[1, 2, 3, 4].forEach( (elem, idx) => console.log('arr[%d]=%d', idx, elem) )

בגו (go/golang) זה יראה ככה:

slice := []int{1, 2, 3, 4}
for idx, elem := range slice {
 fmt.Printf("arr[%d]=%d\n", idx, elem)
}

ברובי, הקוד מדבר בעד עצמו, אני יודע בוודאות שאני עושה איטרציה שמקבלת גם אינדקס. למעשה בקוד רובי, אם אני רואה מתודה בשם each, היא אמורה לבצע איטרציה על דברים ולספק לי בלוק ריצה, לרוב גם עם פרמטר, עוד לפני שקראתי את התיעוד מעבר.

ב ES6, האיטרציה בברירת המחדל, מחזירה פרמטר אחד שהוא הערך, ואם אני מעוניין, אקבל גם את האינדקס.

בגו, יש לולאה מסוג אחד – for.
הלולאה הזו מסוגלת לבצע איטרציה באמצעות range, או להיות לולאת for כפי שהיא מוכרת בתחביר C.
אין עוד סוגים של לולאות.

אז מה מפריע לי בפיתון?
אני יכול לבצע איטרציה פשוטה של

for elem in [1, 2, 3, 4]:
  ...

אבל הייתי מצפה שיהיו בין פרמטר אחד לשני פרמטרים כאן. במידה ולא, הייתי מצפה שה instance של ה list יחזיר למשל iter_with_idx או משהו בסגנון. אבל לא! צריך משהו חיצוני לגמרי מסוג הקונטינר שיחזיר את זה.
זה משהו שאפשר לזכור, אבל הוא לא מגיע בצורה אינטואיטיבית. הסיבה לכך, היא שיש סוג של שעטנז בין תכנות מונחה עצמים לבין תכנות פרוצדורלי.
למשל בגו, הדרך להגיד שרוצים לבצע איטרציה מכל סוג שהוא, על משהו שהוא איטרבילי, יהיה באמצעות הפקודה range. זו לא פונקציה, אלא ממש פקודה של השפה. מילה שמורה.

אבל בפיתון האיטרציה מסוגלת להתבצע באמצעות הגדרה של שני מתודות: __iter__ ו __next__ (או next בגרסה 2), אז למה אין איטרציה לאינדקס? למה צריך משהו חיצוני בשביל זה?

סבבה, אפשר "לבלוע" את זה, אם זה היה הדבר היחיד.

הנה בעיה נוספת:

ברובי, יש לי פעולה כזו:

[1, 2, 3, 4].join(',')

אני למעשה הופך את כל המספרים במערך למחרוזת אחת מופרדת בפסיקים.

לרשימה בפיתון אי אפשר לעשות אותו הדבר. צריך לעשות את זה בגישה לגמרי שונה:

','.join(str(n) for n in [1, 2, 3, 4])

אם אני מעביר רשימה שאפשר להמיר אותה למחרוזת, הייתי מצפה שפעולת join תבין את זה, ותעשה את זה עבורי, במידה כמובן, שאפשר להמיר למחרוזת.
אבל אם אעשה זאת ככה:

','.join([1, 2, 3, 4])

הוא יצעק עלי:

TypeError: sequence item 0: expected str instance, int found

במידה ופיתון היה strong type הייתי מבין לגמרי מאיפה זה מגיע, אבל השפה מוגדרת כשפה דינאמית.
אם אתה מגלה שיש לך משהו שאתה יכול להמיר למחרוזת, תמיר למחרוזת, כי זה מה שמתבקש ממך.
רובי לא עושה את זה ד"א כקסם, מאוד קל לבנות ברובי את זה, אני יודע בדיוק מה סוג התוכן, ולהחליט איך להמיר אותו אם בכלל.

אפילו ES עושה את זה בגישה שאני מצפה לה:

[1, 2, 3, 4, 5].join(',')

כלומר זה לא ייחודי לרובי.

כמובן שגו היא לא רק strong typed אלא גם פרוצדורלית, ולכן היא מתנהגת מעט קרוב יותר לאיך שפיתון דורש את המימוש שלה. ככה שאפשר להבין למה זה מרגיש כאילו פיתון לא בהכרח מתנהגת כשפה דינאמית.

עוד הדגמה לבעיה שלי לגישה של תכנות מונחה העצמים, או יותר נכון המחסור בשימוש בו בצורה טובה יותר:

רובי:

[1, 2, 3, 4].length
[1, 2, 3, 4].count

ES:

[1, 2, 3, 4].length

פיתון:

[1, 2, 3, 4].count() # TypeError: count() takes exactly one argument (0 given) 
# oh, it looks up if an element exists... and how many times, okay then ...

len([1, 2, 3, 4])

אם אתעלם בכוח מכך ש count אינו אומר באמת מה הוא עושה. כלומר, סופר מה? הייתי מצפה ל count_occurent_elements או משהו כזה כאשר יש הפרדה בין פעולות ספירה שונות של איברים ברשימה.
אבל למה החיפוש של הגודל הוא חיצוני?
מדוע קונטיינר כדוגמת מחרוזת, רשימה, מפה או אפילו sequence לא יכולים להחזיק בערך הזה בעצמם ולייצא אותו בצורה מונחת עצמים?

הרי הרגע ניסיתי להשתמש ב count, שקיים גם בעוד סוגי קונטיינרים, כולל מחרוזת, למה צריך משהו חיצוני?! מה, פיתון שומר בצורה חיצונית את המידע?! זה אנטי פטרן של תכנות מונחה עצמים, ותכנות בכלל (משתנים גולבליים).

השעטנזים האלו בין תכנות מונחה עצמים לבין תכנות פרוצדורלי מקשה מאוד על הפיתוח בעיני. הוא ממש עוצר וגורם לי לבדוק כל דבר פעמיים (כאילו ש לא סובלים מספיק עם PHP בנושא).

ההתנהגות הזו של טיפוס דינאמי מול טיפוס שהוא strong typed, בצורה לא מובנת בעיני. כמובן שיש מקומות בהם חשוב לקבל ערך מסוג אחד ולא מסוג אחר. אבל למה כאשר רוצים לחבר הרבה איברים למחרוזת?! זה הרי מאוד explicit מה אני רוצה להשיג כאן.

העניין הוא שבלי לשנן בעל פה איך פיתון מתנהגת בכל דבר ודבר, מאוד קשה לדעת רק ממבט על הקוד כיצד הוא יתנהג.
ברובי, מאוד קל להבין, הבעיות שנתקלים בהם הם על התוכן, אבל מרבית התחביר נשאר זהה, רק במקומות שזה הגיוני הוא משתנה.
למשל מחרוזת, תכיל איטרציה על בתים, בנוסף על איטרציה על תווים. זה הגיוני, כי מחרוזות שהן לא ASCII יכולות להכיל תו שמורכב ממספר בתים, אבל לדעת את האורך יהיה עם מתודה בשם length.
אבל הגיוני שהמתודה each למחרוזת תבצע איטרציה. עכשיו השלב הבא, האם על בתים או על תווים, אבל קודם כל הבנו שיש כאן איטרציה על משהו.

אה, ועוד דבר, ברובי, count לא קיים למחרוזת אמנם, אבל בכל מה שיורש מ enumerable (כדוגמת מערך ו hash) ב3 צורות:

1. במידה ואין פרמטר, הוא מחזיר את כמות האיברים במערך.
2. במידה ויש לו פרמטר, הוא מתנהג בצורה של פיתון, מחזיר כמה פעמים הוא מופיע.
3. תמיכה בבלוק, ששם מקבלים את הערכים השונים וניתן לבצע פעולת מניה מיוחדת המתאימה לאיך ומה שרוצים לספור.

עבור Hash שימוש מספר 2, תמיד יחזיר 0, כי הבדיקה מורכבת מעט יותר, הרי על מה אנחנו רוצים לבצע את הספירה? על מפתחות? סבבה, יש מתודה בשם keys. על ערכים? סבבה, יש מתודה בשם values. שתיהן מחזירות מערכים. לבדוק אם מפתח וערך מתקיימים ביחד, זה לא הגיוני עבור count להחזיר, כי לא יכולים להיות 2 מפתחות באותו השם. לבדוק האם מפתח קיים, משתמשים ב include?‎ (סימן השאלה בסוף). אותו הדבר לגבי מערך, אותה מתודה תחזיר האם איבר קיים, שוב פעם ירושה, הפעם מ BasicObject.

בחלק הבא, במקום שאמשיך בתחביר, אכנס לבעיות התנהגות של ספריות מול ספריות זהות בשפות תכנות אחרות.

24 July, 2017 05:13 PM

מעבר לקול הקורא להרצאות של אוגוסט פינגווין, גם כנס רברסים עם פלטפורמה מקיים השנה מסלול יעודי בנושא קוד פתוח. הקול הקורא שלו פתוח עוד 24 שעות. אני כבר שלחתי הצעות לשניהם… ואתם?

18 July, 2017 10:11 PM

Electric Sheep running on a Raspberry Pi

Hey all,
So its been a while since I had time to release something fun. After developing CustomPiOS I thought I might write something to demonstrate how easy it is to make your own RaspberryPi distribution with it. So I made one that runs Electric Sheep on boot. Its called ElectricSheepPi.
Electric Sheep is a collaborative abstract artwork that keeps evolving as you vote for “sheep”. So it makes nice visuals and is great to play on a spare screen and Pi. Raspberrypi 2 works, Raspberrypi 3 is recommended for smooth visuals. You can see examples of the visuals on youtube.

To run it

1. Download the image
2. Flash it like any distro
3. set up wifi, set your wifi settings with the file electricsheep-network.txt or electricsheep-wpa-supplicant.txt.
4. Plug to HDMI display, internet and boot

Its easy to write a custom distro with CustomPiOS!

To write I had to write a module for CustomPiOS, it was just 32 lines mostly copied from the electric sheep install manual. To make stuff start on boot I used the gui module which lets you start any gui application full screen at boot, that’s 2 lines in the config file.

Thank you Doc’s Tech for hosting the image yet again!

Full text

18 July, 2017 02:11 PM

כשקמים בבוקר למייל שאומר שההרצאה שביקשת שובצה בלו"ז, זה פחות או יותר סוגר לך את התהיות מה תעשה היום. זה משאיר לך כמה שעות להתארגן על מצגת, עוד חצי שעה לוודא שאפשר להציג מהמחשב שלך ויאללה בלאגן. זה פחות או יותר מה שהיה לי ביום השלישי של הכנס. את המצגת שלי (LibreOffice RTL Support Status 2015) ביססתי על זאת של 2012 (הפעם הקודמת שהייתי בכנס של ליברה אופיס), אם כי רציתי לעדכן את צילומי המסך כי התוכנה נראה  טיפה אחרת ורציתי גם לתפוס את התפריטים הצדדיים החדשים.

מעבר להסבר הרגיל של איך נראה הממשק משתמש לאחר הפעלת התמיכה ב-CTL, ואיך הוא נראה מימין לשמאל, הוספתי השנה חלוקה כללית של הבאגים לארבע קטגוריות:

1. באגים שקשורים לשפה בלבד
2. באגים שקשורים לכיווניות בלבד
3. באגים שקשורים לממשק המשתמש בלבד
4. באגים שמשלבים את הסעיפים הקודמים.

מעבר לאלה ישנם באגים שקשורים לשפה ספציפית, ולכן לא נכנסים להגדרה הכללית. נראה שהקטגוריות מסודרות בסדר עולה של כמות הבאגים. הרביעית היא גם המסובכת ביותר לפתרון.

שאלה שקיבלתי מהקהל היא לגבי סיכום המצב, שזה דבר שקצת קשה לי לכמת. סה"כ אין שום מניעה משימוש בשפות בימין לשמאל, בוודאי אם משתמשים בממשק האנגלי. אם גם משתמשים בממשק מימין לשמאל, אז כמות הבעיות עולה, אבל התוכנה עדיין שמישה, כלומר לרוב אלו בעיות שיעצבנו את המשתמש, אבל לא ימנעו שימוש בתוכנה. זה כמובן נכון רק לאחר שנפתר הבאג שמורח את התצוגה בממשק מימין לשמאל (התיקון נכנס ל-4.4.6 ו-5.0.2).

בהפסת הצהרים כנסו את כולם לחגיגות 5 שנים לליברה אופיס, וגם הביאו 3 עוגות מגניבות. תמיד כיף לראות את הלוגו בבצק סוכר.

באירוע הסיום, לאחר כל שלבי התודות (וממש מפתיע לראות כמה קטן הצוות שמארגן כנס ל-160 איש), הוכרז כי הכנס של שנה הבאה יערך בברנו, צ'כיה.

18 July, 2017 01:07 PM

As part of my work at Zend (now a RogueWave company), I maintain the various patch sets. One of those is the changes for PDO_IBM extension for PHP.

After some patch exchange I decided it’s would be easier to manage the whole process over a public git repository, and maybe gain some more review / feedback along the way. Info at https://github.com/kaplanlior/pecl-database-pdo_ibm/commits/zend-patches

Another aspect of this, is having IBMi specific patches from YIPS (young i professionals) at http://www.youngiprofessionals.com/wiki/index.php/XMLService/PHP, which itself are patches on top of vanilla releases. Info at https://github.com/kaplanlior/pecl-database-pdo_ibm/commits/zend-patches-for-yips

So keeping track over these changes as well is easier while using git’s ability to rebase efficiently, so when a new release is done, I can adapt my patches quite easily. Make sure the changes can be back and forward ported between vanilla and IBMi versions of the extension.

Full text

16 July, 2017 01:13 PM

הגענו לזמנים טובים, בהם סוף סוף לאינטל יש תחרות הן במעבדים לדסקטופ, הן במעבדי קצה-גבוה-מאוד לדסקטופ (Super High End Desktop – או SHED בקיצור) והן במעבדים לשרתים, בין אם מדובר בשרת עם תושבת למעבד אחד או 2 (אינטל עדיין ממשיכה עם 4 ו-8 מעבדים על לוח אבל רוב החברות כלל לא רוכשות את זה. יותר זול לרכוש מספר שרתים עם 2 מעבדים מאשר אחד עם 4 או 8 מעבדים).

ועם התחרות, מגיעים נסיונות השכנוע לגרום לחברות לרכוש את המעבדים והשרתים. כל יצרני השרתים מייצרים שרתים הן עם מעבדי AMD Epyc והן עם מעבדי ה-Skylake-SP. יצרניות המעבדים מפרסמים השוואות מאוד סלקטיביות (Cherry Picking) בין המעבד שלהם לזה של המתחרה וזה לחלוטין לגטימי. ב-AMD החליטו לא להשוות למעבדי ה-Skylake-SP אלא למעבדי דור 4 של Xeon.

באינטל לעומת זאת, בחרו מוטו אחד שמסביב לו הם בנו את כל הקמפיין והם הוציאו מצגת שרצה סביב המוטו הזה. מהו המוטו? שמעבדי Epyc הם בעצם 4 מעבדי Ryzen 7 1800X של AMD "מודבקים ביחד", שזה בערך כמו לאמר שמעבדי Skylake-SP הם מספר מעבדי Skylake-X מודבקים ביחד.

האם לטיעון הזה יש רגליים? לא. למעבדי Epyc יש דברים שאין בשום מעבד Ryzen דסקטופ, דברים כמו:

• כמות זכרון מטמון L3 כפולה (64 מגהבייט)
• כמות מסלולי PCIe – ב-Epyc יש 128, ב-Ryzen 7 יש 24
• תמיכה בעד 4 טרהבייט זכרון (ב-Ryzen זה נגמר ב-64 ג'יגהבייט)
• ב-Epyc אין Chipset כלל וכלל בשעה ש-Ryzen חייב את ה-X399 Chipset.
• ה-TDP (מעטפת צריכת חשמל) שונה – ב-Epyc היא נעה סביב 170-180 וואט ואילו ב-Ryzen היא מקסימום 95W (ללא Overclocking). לפי ההגיון של אינטל זה היה אמור להיות 380W.
• אין את ה-Infinity Fabric שמאפשר לחבר 2 מעבדים יחד ותקשורת ביניהם (שמבוצעת על 64 כניסות PCIe – בכדי להוזיל את המחיר).

ויש עוד דברים שהם ממש שונים שוני של יום ולילה בין מעבדי הדסקטופ של AMD למעבדי השרתים.

כפי שציינתי, כל חברה בוחרת לה איך "למדוד" הבדלים בין המעבדים שלה למעבדים של המתחרה וכך עשתה גם אינטל, רק שהיא עושה זאת בצורה הכי עקומה. הביטו בגרף הבא (לחצו להגדלה):

המעבד של אינטל בהחלט מנצח, נכון? נחמד, רק שהמעבד שאינטל הביאה להשוואה עולה 2200$ והוא לשרת והמעבד שהיא בחרה משורת המעבדים של AMD הוא את ה-Ryzen שרץ רק על דסקטופ ועולה $420. אני קורא לזה: השוואה בין תפוחים למטאטאים.

מכאן נעבור לשיטת ה"לנו יש הכל, להם אין כלום". צפו:

שוב אינטל חוזרים על ההטעיה של Epyc שמורכב כביכול מ-4 מעבדי Ryzen, ולגבי ה-Track Record, חבל שאינטל מזכירה זאת בשעה שהיא עברה על כל חוק אפשרי כדי לגרום לכל היצרנים לא לייצר שום שרת עם מעבדי AMD והאיחוד האירופאי דפק לאינטל קנס של 1.4 מיליארד יורו על כך (אינטל עדיין מערערת על כך), ולקינוי – Lack of Ecosystem… אהמממ… כל יצרני הלוחות והשרתים תומכים במעבדים של AMD, חברת Baidu החליטה לרכוש כמות גדולה של המעבדים ומיקרוסופט… מכניסה אותם ל-Azure.בנוסף, כל חברות התוכנה הגדולות (כולל VMware, יצרני הפצות לינוקס, Oracle ואחרים) תומכים בהם לחלוטין. לא הייתי קורא לזה Ecosystem גרוע.

את השקף לעיל .. חבל שאינטל יצרו והם מנסים להפוך אנשים שהפרנסה שלהם היא וירטואליזציה – לטיפשים/מטומטמים. כל מי שניסה אי פעם Live Migration יודע שאתה מאבד תכונות מסויימות ברגע שאתה מעביר VM בין שרת לשרת ב-Live Migration כאשר בכל שרת יש דור אחר של מעבדי אינטל, וכן, אותו דבר קורה גם עם מעבדי Epyc אך יש דרכים לעקוף זאת.

בנוסף, אם אנחנו כבר מדברים על וירטואליזציה, אולי תשמחו לשמוע על "סוד" קטן: עם VT-D של אינטל, אם יש לכם נניח כרטיס רשת עם 4 או 6 פורטים (יש לי 2 כאלו של 6 פורטים פה בבית, דבר מדהים!) תוכלו למפות אל הכרטיס כולו ל-VM בלבד. עם SR-IOV של AMD לעומת זאת, תוכלו למפות כל כניסה ישירות ל-VM ללא כל שכבות התרגום ולקבל 95% ביצועים! בנוסף, עם Epyc יש 64 מסלולי PCIe כך שאפשר לדחוף מספר רב כרטיסים לשרת ולמפות כל אחד פר VM ומימוש ה-SR-IOV עושה את החיים הרבה יותר קלים, וזה נתמך ב-VMWare 6, Xen, KVM.

בקיצור – אם כבר מדברים על וירטואליזציה, יש לאינטל לא מעט מה לשפר ואולי לגמור סוף סוף עם הבעיה שעדיין כיום ב-2017 חלק לא קטן מהמחשבים מגיע ללא VT-D? זה כבר פאדיחה.

אבל יש נקודה אחת שאינטל מתעלמת ממנה באלגנטיות ובכך מתעלמת מהפיל באמצע החדר והדבר שבגינו חברות יחליטו אם לרכוש מעבדי אינטל או AMD – וזה המחיר. על זה הכל נופל וקם.

לפנינו טבלת המחירים של אינטל למעבדי Skylake-SP. יש מגוון מעבדים (58) שמחולקים ל-4 משפחות, בטבלה למעלה רואים את המשפחה הכי יקרה וה-5 המעבדים העליונים – הם היחידים עם 28 ליבות (המקסימום שאינטל מוכרים) עם אפשרויות כמו הכפלת זכרון (תמיכה ב-LR DIMM), תמיכה ב-Omnipath ועוד.

שימו לב למחירים מצד ימין. רוצה מעבד עם הכי הרבה ליבות? המינימום שתצטרך להיפרד ממנו זה 8719$. המעבד הכי יקר של AMD לשרתים הוא ה-Epyc 6701 והוא עולה פחות ממחצית מהסכום של אינטל – כ-4200$. רק מההפרש אפשר לרכוש 2 שרתים בתצורת בסיסית של HPE או DELL או שרת אחד עם כמות זכרון ודיסקים גדולה.

אלו המחירים של AMD, הטבלה העליונה היא למעבדים עבור לוחות בעלי 2 תושבות ואילו הטבלה למטה הם ללוחות עם תושבת מעבד אחת, כך שכפי שאתם יכולים לראות, אתם יכולים לרכוש שרת עם לוח ומעבד יחיד עם 32 ליבות, 64 נימים, עד 2 טרה זכרון ו-64 מסלולי PCIe – ב-2100$, רבע מהמחיר שאינטל מבקשת על מעבד יחיד עם 28 ליבות. חתיכת חסכון, לא?

לכל חברה יש ארכיקטורה משלה למעבדים ויש דברים שאינטל מעולה בהם אך יש דברים ש-AMD מעולים בהם והכל תלוי בצרכים שלכם. אם מחר תרצה לדוגמא להקים שרת Microsoft SQL Server "על הברזל" ולא ב-VM (באמת???) – אז קנה את המעבדים של אינטל. וירטואליזציה? המעבדים של AMD נותנים פתרון יותר טוב הן ברמת מיפוי ציוד והן ברמת ביצועים (שים לב שעם מעבדי Epyc ו-VMWare תצטרך את VMWare vSphere 6.5U1) ויש עוד סיטואציות רבות ולכן מומלץ לקרוא סקירות עצמאיות ולא להקשיב לסוכני מכירות הן של אינטל או AMD. יחד עם זאת, אני כן ממליץ לחשוב עם ראש פתוח ולקחת בחשבון את התחרות במקום "להינעל" על יצרן מעבדים מסוים. בניגוד להצהרות של אינטל, כש-AMD מכרו את מעבדי ה-Opteron הם בהחלט נתנו תמיכה ללינוקס על המעבדים ול-AMD יש היסטוריה מכובדת של תמיכה בלינוקס עוד לפני שאינטל החליטו להסתכל על לינוקס בצורה רצינית.

לסיכום: לאינטל יש כח שיווק עצום ותהיו בטוחים שהם או יצרני השרתים שאתם רוכשים מהם "ברזלים" יצרו עמכם קשר על מנת למכור לכם ציוד והם יעבירו לכם את הנקודות של אינטל ולצערי הפעם הנקודות של אינטל רוויים בשקרים והטעיות. פתרונות ה-2 תושבות (sockets) של אינטל בסידרת "הכסף" שלהם לא ממש מרשימה מבחינת מה שהיא נותנת בהשוואה למחירים שהיא גובה. יחד עם זאת, כפי שציינתי, יש מקרים בהם לאינטל יש יתרונות ואם העבודה שאתם רוצים לעשות נעשית בצורה יותר טובה על מעבדי אינטל – לכו על זה.

אשמח אם תוכלו לשתף פוסט זה עם מנמר"ים / מנהלי IT אחרים.

הטקסט המלא

15 July, 2017 09:17 AM

I've been working on the Bailador book and the Crowdfunding campaign for more than 3 months now. About 2 of them publicly. The campaign ends in a week and the book already has 68 pages. It might be time to explain why am I doing this? It's clear that the money is not good. I could earn a lot more in the time I spend on writing the book. Then why?

For the full article visit Why am I writing the Bailador Book?

13 July, 2017 02:51 PM

ההכנות לאוגוסט פינגווין 2017 מעלות הילוך!

למי שלא יודע עדיין, אוגוסט פינגווין, הכנס השנתי של קהילת הקוד הפתוח והתוכנה החופשית בישראל, יתקיים השנה ב־7-‎8 בספטמבר במכללת שנקר בר״ג.

השנה, לראשונה, אנו משתפים פעולה עם קהילות וקבוצות שונות העוסקות בתוכנה חופשית ובקוד פתוח בארץ, כדי ליצור כנס גדול ומשמעותי יותר. ניתן לראות את רשימת הקהילות המשתתפות השנה באתר הכנס.

בנוסף, הקול הקורא להרצאות נפתח וניתן דרכו להגיש הצעות גם למסלול המרכזי וגם למרבית מסלולי הקהילות. ניתן למצוא את הקול הקורא באתר הכנס או לגשת ישירות לטופס. הקול הקורא יסגר ב־29 ביולי, וההרצאות תבחרנה ותפורסמנה בתחילת אוגוסט.

בהזדמנות זו נזכיר כי הכנס מופעל כולו ע״י מתנדבים וכדי לקיימו באופן מוצלח אנו זקוקים לחסויות של חברות מסחריות. אם אתם עובדים/מכירים/בעלים של חברה רלוונטית, אנא צרו קשר עם הצוות המארגן של הכנס בדוא״ל לפרטים נוספים.

שיהיה קיץ קריר ונעים!

12 July, 2017 02:36 PM

הטקסט המלא

12 July, 2017 09:01 AM

This is not my typical blog post style. So no "how to" or opinnions. Just some reflections on how I submitted a patch to Python's standard library. continue reading...

11 July, 2017 06:56 AM

10 July, 2017 06:04 PM

Background

I’m a systems engineer. The job that I’m doing is also called system, SRE, DevOps, production engineer, etc. I define my job as everything between “It works on my machine” of a developer and real life. Common tasks are setting up and maintaining cloud-based infrastructure: networking, compute, databases and other services. Other common tasks are setting up, configuring and maintaining everything inside a VM: disks+mounts, packages, configuration files, users, services. Additional aspects include monitoring, logging and graphing.

The problem

If we take specifically systems engineering tasks such as running a VM instance in a cloud, installing and running programs on a server and modifying configuration files, typical scripting (when no special tools are used) is done in either bash or Python/Ruby/Perl/Go.

Bash

The advantage of bash is that bash is domain specific. It is convenient for running external programs and files manipulation.

# Count lines in all *.c files in this directory and below
wc -l $(find . -name '*.c')

# Make sure my_file has the line my_content
echo my_content >my_file

# Run a process and capture the output
out=$(my_process)

The disadvantage of bash is horrible syntax, pitfalls everywhere, awkward error handling and many features one would expect from a programming language (such as data structures, named functions parameters, etc) are missing.

# Inconsistent, awkward syntax,
# result of keeping backwards compatibility
if something;    then ... fi
while something; do ... done

# Can remove / if MY_DIR is not defined
# unless in "set -u" mode
rm -rf "$MY_DIR/"

# Removes files "a" and "b" instead of "a b"
myfile="a b"
rm $myfile

# Silently ignores the error unless in "set -e" mode
my_script

# Function parameters can't be named, they are
# in $1, $2, ... or in $@ and $*
myfunc() {
  FILE="$1"
  OPTION_TO_ENABLE="$2"
  ...
}

Leave bash alone, it was not intended for programming, don’t do anything in bash, just use external programs for everything.

What do you observe? Is it or is it not used as a programming language in real life?

General-Purpose programming languages

Python/Ruby/Perl/Go are general-purpose programming languages.

The advantage of general-purpose programming languages is in their power, better syntax, ability to handle arbitrary data structures.

orig = [1,2,3]
doubled = [x*2 for x in orig]

The disadvantage of general-purpose programming languages is that they are not and can not be as convenient for systems engineering tasks because they are not focusing on this particular aspect of programming (in contrast to bash and other shells for example).

# Write whole file - too verbose
f = open('myfile', 'w+')
f.write('mycontent')
f.close()

# Run a process and capture the output
# https://docs.python.org/3.5/library/subprocess.html
proc = subprocess.Popen(...)
try:
    outs, errs = proc.communicate(timeout=15)
except TimeoutExpired:
    proc.kill()
    outs, errs = proc.communicate()

Summary

My conclusion is that there is no handy language for systems engineering tasks. On one hand there is bash that is domain specific but is not a good programming language and does not cover today’s needs, on the other hand there are general-purpose programming languages which do not specialize on this kinds of tasks.

You can use Puppet, Chef, Ansible, Terraform, CloudFormation, Capistrano and many other tools for common systems engineering tasks. What if your task is not covered by existing tools? Maybe one-off? Maybe a case where using one of the existing tools is not an optimal solution? You would like to write a script, right? In that case, your life sucks because scripting sucks. That’s because there is no convenient language and libraries to get systems engineering tasks done with minimal friction and effort.

Solution

I suggest, creating a new programming language (with a shell) which is domain specific, as bash, and which incorporates important features of general-purpose programming languages: data structures, exceptions, types, multiple dispatch.

My way of looking at it: imagine that bash was created today, taking into account today’s reality and things that became clear with time. Some of them are:

• The shell is used as a programming language.
• A system is usually a set of VMs and APIs, not a single machine.
• Most APIs return JSON so data structures are needed as multiple jq calls are not convenient.
• Silently ignoring errors proved to be bad strategy (hence set -e switch which tries to solve the problem).
• Silently substituting undefined variables with empty strings proved to be bad strategy (hence set -u switch).
• Expanding $x into multiple arguments proved to be error prone.
• Syntax matters.
• History entries without context have limited usefulness (cd $DIR for example: what was the current directory before cd and what was in $DIR ?)
• UX
  • Spitting lots of text to a terminal is useless as it can not be processed by a human.
  • Feedback is important.
    • Exit code should be displayed by default.
    • An effort should be made to display status and progress of a process.
    • Ideally, something like pv should be integrated into the shell.

I’m not only suggesting the solution I’ve just described. I’m working on it. Please give it a try and/or join to help developing it: NGS – Next Generation Shell.

# Make sure my_file has the line my_content
echo my_content >my_file

# Run a process and capture the output
out=`my_process`

# Get process handle (used to access output, exit code, killing)
p=$(my_process)

# Get process output and parse it, getting structured data
amis=``aws ec2 describe-images --owner self``
echo(amis.len()) # number of amis, not lines in output

# Functional programming support
orig = [1,2,3]
doubled = orig.map(X*2)

# Function parameters can be named, have default values, etc
F myfunc(a,b=1,*args,**kwargs) {
  ...
}

# Create AWS VPC and Gateway (idempotent)
NGS_BUILD_CIDR = '192.168.120.0/24'
NGS_BUILD_TAGS = {'Name': 'ngs-build'}
vpc = AWS::Vpc(NGS_BUILD_TAGS).converge(CidrBlock=NGS_BUILD_CIDR, Tags=NGS_BUILD_TAGS)
gw  = AWS::Igw(Attachments=[{'VpcId': vpc}]).converge(Tags=NGS_BUILD_TAGS)

Popular questions with answers

I don’t think scripting is the right approach.

It really depends on the task, constraints, your approach and available alternative solutions. I expect that situations needing scripting will be with us for a while.

Another programming language? Really? Why the world needs yet another programming language?

I agree that creating a new language needs justification because the effort that goes into creating a language and learning a language is considerable. Productivity gains of using the new language must outweigh the effort of learning and switching.

NGS creation is justified in exactly the same way as many other languages were justified: dissatisfaction with all existing programming languages when trying to solve specific problem or a set of similar problems. In case of NGS the dissatisfaction is specifically how existing programming languages address the systems engineering tasks niche. NGS addresses this particular niche with a unique combination of features and trade offs. Productivity of using NGS comes from best match between the tool and the problems being solved.

Yet another shell? We have plenty already but they all have serious adoption problems.

NGS will be implementing ideas which are not present in other shells. Hopefully, the advantages will be worthy enough to justify switching.

I’ll be just fine with bash/Python/Ruby/Perl/Go

You will. The decision to learn and use a new language depends on your circumstances: how many systems engineering tasks you are doing, how much you suffer, how much easier the tasks will become with NGS, how easily this can be done in your company / on your project and whether you are willing to take the risk.

You could just write a shell based on Ruby or Python or whatever, leveraging all the time and effort invested in existing language.

I could and I didn’t. Someone else did it for Python and for Scala (take a look, these are interesting projects).

• I don’t think it’s the right solution to stretch existing language to become something else.
• NGS has features that can not be implemented in a straightforward way as a library: special syntaxes for common tasks, multiple dispatch.

One could just write a library for Python or Ruby or whatever happens to be his/her favorite programming language, leveraging all the time and effort already invested in existing language.

In order to be similar to NGS, one would not only have to build a library but also change language syntax. I personally know only two languages that can do that: Lisp (using reader macros) and Perl6 (using grammar facility). These are general-purpose programming languages. Turning them into something NGS-like will be a significant effort, which I don’t think is justified.

PowerShell appears to be similar to what you describe here.

Note that I have very limited experience with PowerShell. The only aspect I definitely like is consistent usage of the $ sigil.

• It’s probably a matter of taste and what you are accustomed to but I like NGS’ syntax more. PowerShell is pretty verbose.
• DSC appears to be focused on resources inside a server/VM. NGS plans similar functionality. Meanwhile, NGS uses this approach in the AWS library: vpc = AWS::Vpc(NGS_BUILD_TAGS).converge(CidrBlock=NGS_BUILD_CIDR, Tags=NGS_BUILD_TAGS)

There are libraries for Python that make systems engineering tasks easier.

Right, sh for example. Such solution can’t be used as shell, it just improves the experience of calling external program from Python.

Was this post convincing? Anything is missing to convince you personally? Let me know!

Have a nice day!

07 July, 2017 05:24 AM

אני נחשב למתכנת מסוג full stack מסתבר, ככה לפחות הגדירו אותי אחרים.
אני מוצא את עצמי נמצא רוב הזמן כאשר אני מתכנת לפחות, משתמש בvim, כל עוד לפחות, לא מדובר בשפת Javascript, על שלל ספריותיה, כדוגמת React או Vue אשר איתן אני עובד לרוב.

הבעיה שלי עם Javascript וכל הספריות שלו, שהתחביר נתמך, אבל לקבל linter ולקבל יכולות כמו זיהוי טוב של מבנה, ואפילו Refactoring לא תמיד עובד נכון, גם כאשר אני עובד עם כלים כדוגמת eslint.

כאשר אני מתכנת בשפות כדוגמת Golang, רובי או פיתון, יש לי כלים ממש איכותיים לנושא עבור vim, גם כאשר אני נוגע למשל בתסריטי teraform, אני עדיין מקבל תמיכה יחסית טובה, אבל כאשר מדובר ב JS, זו כבר בעיה. אני חושב שהסיבות הן שיש הרבה תקנים שהם עדיין במצב של offer ו draft וככה es6 וכיוב', יוצרים אתגרים מעניינים.

בשנה האחרונה, התחלתי מאפס ליצור vimrc משלי, וביחד עם dotfiles שלי, מנסה לענות טוב יותר על בעיות שונות.
אך עדיין איכשהו JS או Ecmascript אם להיות יותר קורקטיים, מתחמקת ממני.

לאחרונה אפילו עברתי ל neovim, אשר דווקא עושה עבודה מדהימה, עם כמה בעיות ממש קטנות, הוא מספק לי כלי מעט טוב יותר מvim עצמו, הוא אפילו מכיל כמה כלים שלפעמים נדמה ש tmux קצת מיותר (למרות שאני עדיין לא משתמש בו), למשל היכולת לקבל מסוף מובנה עם ‎:terminal אשר עדיין מקבל תוכנות של vim בתוכו.

אני כבר הרבה זמן מנסה לגרום לvim לעבוד עם Javascript, והתחלתי לקרוא מאמרים שונים, כדוגמת המאמר הבא, אשר מסביר קצת יותר לעומק איך להגדיר את JS, והנה אני כבר בשלבים להתחיל לזנוח את Atom, ולגרום ל neovim להיות עורך הטקסט כמעט היחידי שלי.

אני עדיין בשלבים של הגדרות ה vim, אבל כבר פחות ופחות אני מוצא את עצמי עם צורך לשנות אותם. אשמח לקבל פידבק מאחרים לגבי העובדה בשביל שאוכל לשפר ולהשתפר, וכמובן שכולם מוזמנים לעבוד עם ההגדרות שלי.

01 July, 2017 06:35 PM

The more work on orchestrator, the more user input and the more production experience, the more insights I get into MySQL master recoveries. I'd like to share the complexities in correctly running general-purpose master failovers; from picking up the right candidates to finalizing the promotion.

The TL;DR is: we're often unaware of just how things can turn at the time of failover, and the impact of every single decision we make. Different environments have different requirements, and different users wish to have different policies. Understanding the scenarios can help you make the right choice.

The scenarios and considerations below are ones I picked while browsing through the orchestrator code and through Issues and questions. There are more. There are always more scenarios.

I discuss "normal replication" scenarios below; some of these will apply to synchronous replication setups (Galera, XtraDB Cluster, InnoDB Cluster) where using cross DC, where using intermediate masters, where working in an evolving environment.

orchestrator-wise, please refer to "MySQL High Availability tools" followup, the missing piece: orchestrator, an earlier post. Some notions from that post are re-iterated here.

Who to promote?

Largely covered by the missing piece post (skip this section if you've read said post), consider the following:

• You run with a mixed versions setup. Your master is 5.6, most your replicas are 5.6 but you've upgraded a couple replicas to 5.7. You must not promote those 5.7 servers since you cannot replicate 5.7->5.6. You may lose these servers upon failover.
• But perhaps by now you've upgraded most of your replicas to 5.7, in which case you prefer to promote a 5.7 server in the event the alternative is losing your 5.7 fleet.
• You run with both STATEMENT based replication and ROW based. You must not promote a ROW based replica because a STATEMENT based server cannot replicate from it. You may lose ROW servers during the failover.
• But perhaps by now you've upgraded most of your replicas to ROW, in which case you prefer to promote a ROW server in the event the alternative is losing your ROW fleet.
• Some servers can't be promoted because they don't use binary logging or log_slave_updates. They could be lost in action.

Noteworthy that MHA solves the above by syncing relay logs across the replicas. I had an attempt at doing the same for orchestrator but was unsatisfied with the results and am wary of hidden assumptions. I do not expect to continue working on that.

Intermediate masters

Recovery of intermediate masters, while simpler, also adds many more questions to the table.

• An intermediate master crashes. What is the correct handling? Should you move all of its orphaned replicas under another server? Or does this group of replicas form some pact that must stick together? Perhaps you insist on promoting one of them on top of its siblings.
• On failure, you are likely to prefer promoted server from same DC; this will have least impact on your application.
  • But are you willing to lose a server or two to make that so? Or do you prefer switching to a different DC and not lose any server in the process?
  • A specific, large orchestrator user actually wants to failover to a different DC. Not only that, the customer then prefers flipping all other cluster masters to the other DC (a full-DC failover)
• An intermediate master had replication filters (scenario: you were working to extract and refactor a subtree onto its own cluster, but the IM crashed before you did so)
  • What do you do? Did you have all subsequent replicas run with same filters?
  • If not, do you have the playbook to do so at time of failure?
• An intermediate master was writable. It crashed. What do you do? Who is a legitimate replacement? How can you even reconnect the subtree with the main tree?

Candidates

• Do you prefer some servers over others? Some servers have stronger hardware; you'd like them to be promoted if possible
  • orchestrator can juggle with that to some extent.
• Are there servers you never want to promote? Servers used by developers; used for backups with open logical volumes; weaker hardware; a DC you don't want to failover to; ...
  • But then again, maybe it's fine if those servers act as intermediate masters? So that they must not be promoted as masters, but are good to participate in an intermediate master failover?
• How do you even define the promotion types for those servers?
  • We strongly prefer to do this live. Service discovery dictates the type of "promotion rule"; a recurring cronjob keeps updating orchestrator with the server's choice of promotion rule.
  • We strongly discourage configuration based rules, unless for servers which are obviously-never-promote.

What to respond to?

What is a scenario that kicks a failover?

Relate to the missing piece post for the holistic approach orchestrator takes to make a reliable detection. But regardless, do you want to take action where:

• The master is completely dead and everyone sees that and agrees? (resounding yes)
• The master is dead to the application but replication seems to be working? (master is at deadlock, but replication threads seem to be happy)
• The master is half-dead to the application? (no new connections; old connections includign replication connections keep on running!)
• A DC is network partitioned, the master is alive with some replicas in that DC; but the majority of the replicas are in other DCs, unable to see the master?
  • Is this a question of majority? Of DC preference? Is there at all an answer?

Upon promotion

Most people expect orchestrator to RESET SLAVE ALL and SET read_only=0 upon promotion. This is possible, but the default is not to do so. Why?

• What if your promoted server still has unapplied relay logs? This can happen in the event all replicas were lagging at the time of master failure. Do you prefer:
  • To promote, RESET SLAVE ALL and lose all those relay logs? You gain availability at the expense of losing data.
  • To wait till SQL_THREAD has consumed the logs? You keep your data at the expense of availability.
  • To abort? You let a human handle this; this is likely to take more time.
• What do you do with delayed/slow replicas? It could take a while to connect them back to the promoted master. Do you prefer:
  • Waiting for them to connect; delay promotion
  • Advertise new master, then asynchronously work to connect them: you may have improved availability, but at reduced capacity, which is an availability issue in itself.

Flapping

You wish to avoid flapping. A scenario could be that you're placing such load on your master that it crashes; the next server to promote as master will have the same load, will similarly crash. You do not wish to exhaust your fleet.

What makes a reasonable anti-flapping rule? Options:

• Upon any failure in a cluster, block any other failover on that cluster for X minutes
  • What happens if a major power down issue requires two or three failovers on the same cluster?
• Only block further master failovers, but allow intermediate master failovers as much as needed
  • There could be intermediate master exhaustion, as well
• Only allow one of each (master and intermediate master), then block for X minutes?
• Allow a burst of failovers for a duration of N seconds, then block for X minutes?

Detection spam

You don't always take action on failure detection. Maybe you're blocked via anti-flapping on an earlier failure; or have configured to not automatically failover.

Detection is the basis to, but independent of failover. You should have detection in place even if not failing over.

You wish to run detection continuously.

• So if failover does not take place, detection will keep noticing the same problem again and again.
  • You get spammed by alerts
• Only detect once?
  • Been there. When you really need that detection to alert you find out it alerted once 6 hours ago and you ignored it because it was not actionable at the time.
• Only detect a change in diagnosis?
  • Been there. Diagnosis itself can flap back and forth. You get noise.
• Block detection for X minutes?
  • What is a good tradeoff between noise and visibility?

Back to life

And old sub-tree comes back to life. Scenario: DC power failure.

This subtree claims "I'm cluster X". What happens?

• Your infrastructure needs to have memory and understanding that there's already a running cluster called X.
• Any failures within that subtree must not be interpreted as a "cluster X failure", or else you kick a cluster X failover when there is, in fact, a running cluster X. See this PR and related links. At this time orchestrator handles this scenario correctly.
• When do you consider a previously-dead server to be alive and well?
  • I do mean, automatically and reliably so? See same PR for orchestrator's take.

User control

Failover tooling must always let a human decide something is broken. It must always allow for an urgent failover, even if nothing seems to be wrong to the system.

Isn't this just so broken? Isn't synchronous replication the answer?

The world is broken, and distributed systems are hard.

Synchronous replication is an answer, and solves many (I think) of the above issues, creating its own issues, but I'm not an expert on that.

However noteworthy that when some people think about synchronous replication they forget about cross-DC replication and cross-DC failovers,on upgrades and experiments. The moment you put intermediate masters at play, you're almost back to square one with many of the above questions again applicable to your use case.

29 June, 2017 03:01 PM

I have been contemplating the idea for quite some time, but finally I've decided to extend the Bailador crowdfunding campaign by another month.

For the full article visit Extending the Bailador crowdfunding campaign by another month

22 June, 2017 06:27 AM

הסיפור עם המעבדים החדשים של AMD הוא סיפור די ארוך שכולל התנהגות מטומטמת, חברה שלא מקשיבה ללקוחותיה, הפתעה גדולה ומענה תמוה.. מישהו עוד יוציא ספר על כך.

ל-AMD בד"כ לא היו הרבה סיפורי הצלחה בכל הקשור למעבדים. בד"כ המעבדים שלה היו יותר איטיים (במעט או בהרבה, תלוי בדגם) מהמעבדים של אינטל ולפיכך AMD לא ניסתה להתחרות בביצועים אלא להתחרות במחירים. באינטל כמובן היו מודעים למעבדים של AMD והיה די קל לשכנע לקוחות לקנות אינטל ולא AMD כך שבסופו של דבר פלח השוק של AMD לא היה גדול ולא ממש איים על אינטל.

… עד שהגיעו מעבדי ה-Opteron ובמיוחד סדרות 6100, 6200, 6300 שהגיעו עם תושבת חדשה (G34, להבדיל מתחנות עבודה ודסקטופים) – שהיו מיועדים לשרתים. המעבדים הגיעו עם כמות ליבות מרשימה: מ-4 ליבות ועד 16 ליבות בכל מעבד. כזה – עוד לא היה בשוק.

כל האתרים שקיבלו את המעבדים הללו והשוו אותם למעבדים של אינטל הגיעו פחות או יותר לאותם מסקנות: זה מעולה שיש הרבה ליבות, אבל אין מספיק זכרון מטמון ובכלל הביצועים של המעבדים הללו נמוכים בצורה משמעותית ממה שאינטל מוכרת באותו זמן. גם AMD ידעה זאת ולכן היא מכרה את המעבדים הללו במחיר זול בהשוואה למעבדי AMD.

וכאן "התפוצץ הסעיף" להנהלת אינטל. אינטל לא היתה מוכנה ש-AMD תיכנס לשוק השרתים, גם כשהמעבדים הציעו ביצועים נמוכים יותר. באינטל החליטו לשלוף את כל כלי הנשק האפשריים ולשבור את השוק בכל צורה אפשרית – חוקית ולא חוקית! אינטל יצרו קשר עם כל יצרן לוחות אם, יצרני שרתים, בוני מכונות (אינטגרטורים) וכו' והיא פתחה ב"דיאלוג" מהסוג שמזכיר שיחות עם גנגסטרים. כך לדוגמא ליצרני שרתים היא "המליצה בחום" להוריד דרסטית את כמות דגמי השרתים שיוצעו עם מעבדי AMD מכמות כמעט דו ספרתית ל-1 או 2 (ואם אפשר 0 – מה טוב). לאלו שהבינו את הרמז, אינטל "פיצתה" אותם דרך Kick Back, אלו שלא ממש הבינו את הרמז, הבינו שפתאום משלוחי מעבדים שצריכים להגיע .. מתעכבים. הסיפורים הללו לא היו ממש סוד שמור, והרגולטרים של האיחוד האירופאי החליטו לחקור לעומק לאחר שהתקבלו תלונות מ-AMD. התוצאה? הרגולטורים הטילו קנס ענק של 1.4 מיליארד דולר על אינטל (קנס שאינטל ערערה עליו, היא נצחה בערעור אבל עדיין סיפור הקנס לא נגמר).

מאז כמובן עברו מים רבים, המעבדים של AMD נהפכו לנישה ואינטל שוב הפכה למלכה הבלתי מעורערת למעבדים על הדסקטופ (ובדרך מתקרבת צרה חדשה דווקא משותפתה הגדולה, מיקרוסופט, עם Windows 10 שרץ על ARM… באינטל ממש לא אוהבים זאת) והשרתים.

בזמן שאינטל שולטת בשוק, אינטל די "נרדמה בעמידה" בכל הקשור להתפתחות המעבדים. כאחד שעוקב צמוד אחר גרסאות מעבדים חדשים שמשוחררים וקורא את כל המפרטים שאפשר, אני יכול לאמר שלא ממש נפלטו ממני קריאות התרגשות לאחרונה בכל הקשור למעבדים הן לדסקטופ והן לשרתים. כן, אינטל החלה להוציא את מעבדי ה-Xeon Phi שלה, מעבדי SkyLake X עם ה-AVX ועוד כמה דברים חדשים, אבל ברמת המאקרו – אין הרבה מה להתרשם. ההבדלים בין דור לדור התבטאו באחוזים בודדים (בתנאי שטח) וגם לא מעט לקוחות הבינו שכשזה מגיע למעבדים לשרתים – ההבדלים בין דור 3 ל-4 (כלומר BroadWell) הוא לא כזה הבדל גדול. יש עוד כמה מעבדים חדשים במשפחה עם יותר ליבות – אך מחיריהם היו מטורפים. בכלל, מעבדי E7 של אינטל (4-8 מעבדים בשרת) היו מטורפים לכל הדעות ואני לא מכיר כמעט אף חברה שרכשה אותם.

ואז AMD הגיעו בחודשים אחרונים עם בשורות חדשות: משפחת ה-Ryzen (ה-7 וה-5, ה-3 יצא בהמשך השנה) ומעבדי X (כלומר Extra). כך לדוגמא AMD הציגה לראשונה מעבד עם 8 ליבות ו-16 שרשרנים (ה-1800X) עולה לצרכן כ-440$. המתחרה הנוכחי הכי קרוב שלו מהצד של אינטל הוא ה-Core i7 6900K עם 8 ליבות במחיר של $845 לצרכן כיום (אחרי הורדות המחירים של אינטל שבוצעו בשבועות האחרונים!). אם אתם תוהים לגבי הביצועים – ה-1800X בועט חזק ב-6900K. היכן ה-1800X והמעבדים של AMD נותנים ביצועים יותר נמוכים? כשמנסים להשוות אותם למעבדי ה-Kaby Lake בדברים כמו משחקים (אבל לא ברינדור וידאו, מבחנים סינטטיים שמצריכים ליבות רבות וכו'), כך שלראשונה AMD נותנת פייט רציני לאינטל גם בביצועים וגם במחירים. AMD פחות מוטרדת ממעבדי "הדור הבא" והיא פונה בעצם לאנשים ושואלת אותם: אתם רוצים יותר ליבות במחירים נמוכים יותר מהמעבדים הנוכחיים? אז הנה..

וכאן אנחנו מגיעים לשוק תחנות העבודה והשרתים. בשוק הזה אינטל שולטת ללא עוררין ומאמללת את כל מי שרוצה יותר. כמות זכרון מקסימלית בדסקטופ? 32 ג'יגה. רוצה יותר? לך קנה לוח אם מבוסס X99 Chipset, ושם תוכל "להשתולל" עד 128 ג'יגהבייט, כולה עוד 160-220$ בערך (על לוח האם בלבד. מעבד זה סיפור שונה במחיר). מה עם אלו שרצו משהו קצת יותר ממעבדי דסקטופ כמו ה-6700? בהתחלה אינטל המליצה ללכת על ה-Xeon E3, אבל שם, אבוי, כמות הזכרון (שוב) מוגבלת ברמת המעבד ל-32 ג'יגהבייט, כך שמי שרצה יותר כח ולא רצה לזרוק אלפי דולרים פר מעבד – היה יכול לרכוש את המעבדים היותר יוקרתיים של אינטל כמו ה-6900K וה-6950K שנתנו 8 ו-10 ליבות בהתאמה. המחירים, גם כאן  – ממש לא היו זולים, אבל לא היתה ברירה אחרת.

מתי אינטל התעוררה? שהשמועות החלו לצאת על כך ש-AMD הולכת לצאת עם מעבדים עשירים בליבות. פתאום אינטל יכלה להוציא מעבדים עם 8,10,12,16 ואפילו 18 ליבות!

ו-AMD די הפתיעו את השוק (כמה שאפשר לאמר "הפתיעו", היו הדלפות..). אינטל מתגאה ב-18 ליבות? מגניב. AMD מציגים: מעבדי EPYC עם עד 32 ליבות, 64 שרשרנים, 4 טרהבייט זכרון, 128 מסלולי PCIE וה-32 ליבות זה על מעבד יחיד, כלומר אם תשים 2 יהיו לך 64 ליבות ו-128 שרשרנים.

ב-AMD החליטו שאם כבר אז כבר, לשנות את השוק. הם יוציאו 2 משפחות של מעבדים. משפחה אחת תהיה משפחת P, אלו יהיו מעבדים עם החל מ-8 ליבות ועד 32 ליבות שישבו על לוח אם שיכול להחזיק מעבד יחיד, עם 128 מסלולי PCIE ועם תמיכת זכרון עד 2 טרהבייט! (זוכרים את המגבלה למעלה עד 128 ג'יגהבייט של אינטל?). מכיוון שלכל מעבד יש 128 מסלולי PCIE, אז יצרני הלוחות יכולים להתחיל להשתולל. רוב יצרני לוחות האם לא פרסמו עדיין את הלוחות שתוכננו למעבדים אלו, אבל SuperMicro שלחו לי לינק ל-PDF הזה שמראה את רוב הלוחות שיצאו עבור EPYC ויש עוד כמה בצינור מ-SuperMicro (ולמי שחושב לבנות סטורג', מומלץ להסתכל על דגם: AS -2123US-TN24R25).

והמחירים? אחרי הכל, מה שחשוב זה כמה המעבדים יעלו, וכאן AMD הציגו מחירים מעניינים. להלן הדגמים והמחירים (דגמי ה-P בשורות אפורות):

שימו לב: המחירים הללו אינם מחירים לצרכן ויש עדיין ויכוחים לגבי המחיר (AMD טוענים לדוגמא שדגם 7351P יעלה 750 ולא 700) כך שסביר להניח שהמחיר ישנה במעט. שוב, בהשוואה לאינטל, המחירים הללו זולים: מעבד Xeon עם 18 ליבות (ה-E5-2696V3) עולה $2125 וכאן מעבד 7551P עם 32 ליבות עולה 2000$, כך שאם תרכוש מעבד כזה תחסוך לך 125$ ותקבל 14 ליבות נוספות.

נקודה מעניינת נוספת לגבי משפחת P היא הנקודה ש-AMD מראה שמעבד P יחיד נותן ביצועים של 2 מעבדי Xeon אחרים כך שבעצם אתה חוסך ברכישה. הנה הגרף של AMD:

בגרף הזה AMD משווה בשורה האפורה 2 מעבדי Xeon מול מעבד יחיד ממשפחת EPYC בסידרת P.

כמובן, אי אפשר בלי סייגים: AMD כרגע מציגה רק תוצאות מבחן סינטטי אחד, ללא בחינה של Workload אמיתי. ברגע שהמעבדים הללו יגיעו לסוקרים המקצועיים באתרים השונים, אז נראה את כל התמונה, כך שכרגע התמונה נראית מאוד מבטיחה, במיוחד לאלו שמעניינים לקנות ו/או לבנות שרתים ותחנות עבודה רציניות (לא למשחקים. לזה קחו את Ryzen) – ולכן מומלץ לעקוב אחר הנושא. נקודה נוספת שחשובה לגופים בטחוניים ולכל אלו שהמידע שלהם חשוב מאין כמוהו והם ממש רוצים לחסום מצב שמישהו מנסה לפרוץ או לגנוב ציוד מהשרת (NVDIMM לדוגמא) זה לקרוא על 3 שכבות האבטחה שבנויות במעבד ונותנות מענה גם לאנשים הכי היסטריים (כמעט) מבחינת אבטחת מידע.

לסיכום: אין ספק ש-AMD הוציאה כאן משהו חדש שיצטרך להוכיח את עצמו מצד אחד, אבל מצד שני כל OEM וכל Vendor כבר הכריז על תמיכה ויצור פתרונות משולבי EPYC, מיקרוסופט הודיעה חגיגית ש-EPYC יקבל מקום של כבוד ב-Azure. לאלו שרוצים להקים לעצמם LAB טוב (ולא מחלקים יד שניה) ואלו שרוצים להקים לעצמם תחנות עבודה רציניות – ה-EPYC נותן פתרון שלא קורע את הכיס. האם חברות ירכשו שרתים מבוססי EPYC? שאלה טובה, תהיו בטוחים שמחלקות השיווק של אינטל יגיבו בעוצמה בנושא.

נשאר עוד חלק אחד, ה-ThreadRipper (שיהיה בעצם 2 מעבדי Ryzen 1800X בשבב גדול מאוד) של AMD, מעבד עם 16 ליבות, 32 שרשרנים ששאר פרטיו עדיין אינם ידועים. AMD תוציא לגביו פרטים כנראה באוגוסט. יהיה מעניין

הטקסט המלא

21 June, 2017 04:15 PM

The hashicorp/raft library is a Go library to provide consensus via Raft protocol implementation. It is the underlying library behind Hashicorp's Consul.

I've had the opportunity to work with this library a couple projects, namely freno and orchestrator. Here are a few observations on working with this library:

• TL;DR on Raft: a group communication protocol; multiple nodes communicate, elect a leader. A leader leads a consensus (any subgroup of more than half the nodes of the original group, or hopefully all of them). Nodes may leave and rejoin, and will remain consistent with consensus.
• The hashicorp/raft library is an implementation of the Raft protocol. There are other implementations, and different implementations support different features.
• The most basic premise is leader election. This is pretty straightforward to implement; you set up nodes to communicate to each other, and they elect a leader. You may query for the leader identity via Leader(), VerifyLeader(), or observing LeaderCh.
• You have no control over the identity of the leader. You cannot "prefer" one node to be the leader. You cannot grab leadership from an elected leader, and you cannot demote a leader unless by killing it.
• The next premise is gossip, sending messages between the raft nodes. With hashicorp/raft, only the leader may send messages to the group. This is done via the Apply() function.
• Messages are nothing but blobs. Your app encodes the messages into []byte and ships it via raft. Receiving ends need to decode the bytes into a meaningful message.
• You will check the result of Apply(), an ApplyFuture. The call to Error() will wait for consensus.
• Just what is a message consensus? It's a guarantee that the consensus of nodes has received and registered the message.
• Messages form the raft log.
• Messages are guaranteed to be handled in-order across all nodes.
• The leader is satisfied when the followers receive the messages/log, but it cares not for their interpretation of the log.
• The leader does not collect the output, or return value, of the followers applying of the log.
• Consequently, your followers may not abort the message. They may not cast an opinion. They must adhere to the instruction received from the leader.
• hashicorp/raft uses either an LMDB-based store or BoltDB for persisting your messages. Both are transactional stores.
• Messages are expected to be idempotent: a node that, say, happens to restart, will request to join back the consensus (or to form a consensus with some other node). To do that, it will have to reapply historical messages that it may have applied in the past.
• Number of messages (log entries) will grow infinitely. Snapshots are taken so as to truncate the log history. You will implement the snapshot dump & load.
• A snapshot includes the log index up to which it covers.
• Upon startup, your node will look for the most recent snapshot. It will read it, then resume replication from the aforementioned log index.
• hashicorp/raft provides a file-system based snapshot implementation.

One of my use cases is completely satisfied with the existing implementations of BoltDB and of the filesystem snapshot.

However in another (orchestrator), my app stores its state in a relational backend. To that effect, I've modified the logstore and snapshot store. I'm using either MySQL or sqlite as backend stores for my app. How does that affect my raft use?

• My backend RDBMS is the de-facto state of my orchestrator app. Anything written to this DB is persisted and durable.
• When orchestrator applies a raft log/message, it runs some app logic which ends with a write to the backend DB. At that time, the raft log is effectively not required anymore to persist. I care not for the history of logs.
• Moreover, I care not for snapshotting. To elaborate, I care not for snapshot data. My backend RDBMS is the snapshot data.
• Since I'm running a RDBMS, I find BoltDB to be wasteful, an additional transaction store on top a transaction store I already have.
• Likewise, the filesystem snapshots are yet another form of store.
• Log Store (including Stable Store) are easily re-implemented on top of RDBMS. The log is a classic relational entity.
• Snapshot is also implemented on top of RDBMS,  however I only care for the snapshot metadata (what log entry is covered by a snapshot) and completely discard storing/loading snapshot state or content.
• With all these in place, I have a single entity that defines:
  • What my data looks like
  • Where my node fares in the group gossip
• A single RDBMS restore returns a dataset that will catch up with raft log correctly. However my restore window is limited by the number of snapshots I store and their frequency.

20 June, 2017 04:05 AM

אז לפתע פתאום האקדמיה ללשון שינתה את כללי הכתיב.

הופתעתי מאוד מהשינוי של היום. אולי היו על זה ידיעות בפרסומים של האקדמיה, אבל למרות שאני מתעניין בלשון בכלל, ובכללי הכתיב בפרט, אינני עוקב אחרי כולם. למשל, בדיוק לפני מספר חודשים האקדמיה ללשון הקטלאנית הודיעה שהיא מתכננת לפשט את כללי הכתיב ולבטל הרבה מהסימנים מעל האותיות, אבל היא פרסמה טיוטה לדיון ציבורי, ולא הודיעה ישר על השינוי. (ויש דיון ציבורי, כי לאנשים אכפת מזה.)

אילו האקדמיה ללשון העברית פרסמה טיוטה, הייתי מעיר כמה דברים. אני אישית לא אוהב את הגושפנקה שניתנה ל„שיער”, „בריכה”, „ברירה”, ו„עבירה”, אבל בסדר, אני מבין שזה נפוץ, ואני אפילו שמח מאוד שאני לא צריך לבזבז את העצבים שלי על ויכוחים בנושא הזה. עם זאת, הכתיב החדש „מייד” מצער: גם הכתיב „מיד” היה נפוץ למדי, ולא עורר הרבה מחלוקות, והוא שמר על הקשר למילה „יד”.

אני הקפדתי מאוד על „ססמה” בתרגומי פיירפוקס וטוויטר, למרות התנגדויות רבות, ועכשיו זה בהדרגה יהפוך ל„סיסמה”. על זה לא חבל לי כל־כך, כי זאת ממילא מילה שאולה מובהקת, גם אם עתיקה, ואם אתם שואלים אותי, אפשר להוסיף יו״ד גם למילים שמיות מובהקות כמו פסגה, קדמה, וכיו״ב.

טיפ־טיפה חבל לי על הכתיב „שמים”, שעכשיו הפך ל„שמיים”. היה בזה דמיון יפה ל„מים”, אבל בסדר. עכשיו אני יכול להפסיק להחרים את יישום „ירושמיים”, שהפכה כבר מזמן למשהו פולחני עבור ירושלמים רבים.

אני מרוצה מהשינוי של „תכנה” ו„יזמה” ל„תוכנה” ו„יוזמה”. אני גם מרוצה למדי מהשינוי של מילות היחס „אתי, אתך” ל„איתי, איתך”, ושל „עתים” ל„עיתים”, אבל מוזר לי ביותר שלא נוספה בהזדמנות הזאת האות יו״ד למילים כמו „אִגרוף” ו„מִחזור”, כדי לא להתבלבל עם „אֶגרוף” ו„מַחזור”. זה היה יכול להיות כלל פשוט ושימושי, והוא ממש לא היה אמור להיות שנוי במחלוקת. חבל שזה התפספס.

עוד משעשעים אותי ה„אישורים” שנינתו למילה „אומנם” וליו״ד בצורת הגוף הראשון בזמן עתיד בבניין נפעל, למשל „איכנס” במקום „אכנס”. אני תמיד כתבתי אותם בכתיב מלא. את „אומנם” כתבתי בווי״ו כי גם „אֻמנם” הוא ניקוד תקני ולא רק „אָמנם”, וצליל u תמיד אמור להיכתב בווי״ו (אם כי עכשיו גיליתי לראשונה שהניקוד „אֻמנם” מיועד לשאלות, לפחות לפי אבן־שושן). ובבניין נפעל כתבתי תמיד „איכנס”, „איזהר”, וכו׳, כי הניקוד בחיריק תקין כמו בניקוד בסגול (ר׳ למשל גזניוס 51p).

טוב שיש עכשיו גושפנקה למילה „תיאטרון”, כי אני לא מכיר שום תיאטרון ישראלי שבכניסה עליו כתוב „תאטרון”. (אם יש כזה, זה מפדח למדי, אז עדיף שפשוט אודה: אני לא הולך להצגות מספיק.) מצד שני, מוזאון עדיין אמור להיכתב בלי יו״ד. אני אוהב את החלוקה החדשה הזאת, אבל יש לי תחושה שמוזאונים ימשיכו לקרוא לעצמם „מוזיאונים”, אם כי אפשר לשם השעשוע לנסות להחיות את המילה „בית נכאת”.

מעטים ישימו לב לזה, אבל עכשיו המילה „די” תיכתב תמיד ביו״ד אחת. גם ככה רוב האנשים כותבים אותה ביו״ד אחת, וזה תמיד היה נכון, אבל משום־מה האקדמיה אפשרה עד עכשיו גם „דיי” ו„דאי”. אפילו ראיתי את „דיי” בספרים שהאקדמיה הוציאה ממש לאחרונה (כמו „העברית בתקופת המנדט” הנהדר של יעל רשף). אבל זהו, לא עובד: רק „די”, וטוב שכך.

עוד דבר שמעטים ישימו לב אליו הוא השם של הכללים החדשים: „כללי הכתיב המלא”. עד עכשיו הם נקראו „כללי הכתיב חסר־הניקוד”. למיטב ידיעתי, המונחים כתיב מלא וכתיב חסר מעולם לא היו מוגדרים באופן מדויק למרות שאנשים רבים השתמשו בהם. „כתיב חסר” עדיין אינו מוגדר, אבל זה בסדר, כי הוא לא ממש נחוץ.

עכשיו יהיה ממש נחמד לעדכן גם את מילון האיות החופשי Hspell. נדב ודן, אם אתם קוראים את זה, אני אשמח לעזור.

18 June, 2017 11:03 AM

Sometimes you need quick and dirty implementation of greatest common divisor and its extended variant. Actually, because the fractions module comes gcd function, probably the implementation of the exteded greatest common divisor algorithm is more useful. Both implementations are recursive, but work nonetheless even for comparatively large integers.

# simply returns the gcd
gcd = lambda a,b: gcd(b, a % b) if b else a

# egcd(a,b) returns (d,x,y) where d == a*x + b*y
egcd = lambda a,b: (lambda d,x,y: (d, y, x - (a // b) * y))(*egcd(b, a % b)) if b else (a, 1, 0)

The code above is Python 2 and 3 compatible.

17 June, 2017 02:14 PM

לפני זמן מה ראיתי אתר שאמור לספק מידע GIS בממשק משתמש גרפי חדש, הממשק עושה שימוש ב AngularJs ופשוט מציג מידע מתוך govmap ופועל בדפדפן ללא שימוש בפלאש או silverlight.

משום מה בחרו לאחסן חלק מידע בשרתי גוגל וב CDN של bootstrap במקום לאחסון בשירותי הממשל, אבל לפחות את רוב האתר איחסנו תחת הדומיין gov.il.

כשראיתי שיש אתר חדש חשבתי שיהיה פה משהוא  מאוד מעניין, פשוט אני בתהליכי העברת מערכת GIS אחת לאחרת וזה היה מעניין מה הגישות שבחרו באתר הזה בכדי ללמוד מאנשים בעלי נתח שוק גדול יותר.

כידוע לא ניתן לשתמש בנתוני govmap ללא אישור בכתב מmapi אז יש צורך תמיד להפנות לאתרים מהסוג הזה (ממשק משתמש ע"ג המערכת ) כאשר יש צורך בהתאמות. וכן לאנשים הטובים שכותבים מערכות שמתמששקות מול govmap תקראו את תנאי השימוש מה שאתם עושים לא תמיד מותר.

אם היו מאפשרים להשתמש במידע של govmap בתנאי השימוש, יכול להיות שהיה אפשר למשל לשתף מידע עם OSM או לאפשר משיכת מידע ושכבות בתוכנות צד שלישי ובאתרים אחרים.זאת כמובן ע"י נתינת הקרדיט הנדרש  כמו שעושים כשמתמשים ב OpenLayers או Marble אבל אי אפשר.

מישהוא החליט לאסור את שיתוף ושימוש ולכן אם אתה כותב תוכנה חופשית ב GIS לא כדאי לך התקרב לgovmap בלי בירוקרטיה, וזה ממש חבל כאשר יש לך API נוח כמו KeshetAnnan שיודע למשוך מידע מרשות המיסים וממערכת המיפוי בפעולת rest פשוטות.

מערכת קשת ענן (ככל הידוע לי ) היא מערכת שפותחה ע"י  חברת טלדור להצגת מידע ממערכות GIS, יש שם הרבה דברים אבל אותי עיניין ממשק ה rest שלהם שנראה מאוד חביב (אבל גם הוא יושב תחת govmap שאומר שאסור להתקרב לזה).

כאשר ניגשים לאתר מגלים שהוא מתהדר בתמיכה ב דסקטופ טאבלט ומובייל. רק שככל הנראה אין זה לא כולל פיירפוקס (אבל זה עובד ב IE ו Edge) על Win10  או Gnu/Linux.

בפיירפוקס זה נראה כך :

ואם בודקים בשגיאות רואים :

10:28:24.704 Error: this.predictorInput.offsetParent is null
AmlPredictor/this.Initialize@https://www.nadlan.gov.il/scripts/dis/bundleJS.js?v=1.0.24:20725:9
a/this.link/<@https://www.nadlan.gov.il/KeshetAnan/dis/out.directives.js?v=1.0.24:2:1846
timeout/timeoutId<@https://www.nadlan.gov.il/scripts/dis/bundleJS.js?v=1.0.24:38440:28
completeOutstandingRequest@https://www.nadlan.gov.il/scripts/dis/bundleJS.js?v=1.0.24:27065:7
Browser/self.defer/timeoutId<@https://www.nadlan.gov.il/scripts/dis/bundleJS.js?v=1.0.24:27453:7
 1 bundleJS.js:33796:18
 consoleLog/< https://www.nadlan.gov.il/scripts/dis/bundleJS.js:33796:18
 $ExceptionHandlerProvider/this.$get</< https://www.nadlan.gov.il/scripts/dis/bundleJS.js:30737:7
 timeout/timeoutId< https://www.nadlan.gov.il/scripts/dis/bundleJS.js:38443:11
 completeOutstandingRequest https://www.nadlan.gov.il/scripts/dis/bundleJS.js:27065:7
 Browser/self.defer/timeoutId< https://www.nadlan.gov.il/scripts/dis/bundleJS.js:27453:7

כרומיום - חיפוש עובד , לא הצלחתי לבחור ביניין או שכונה.מוצגות מספר שגיאות מתוך init.js אבל נראה שאפשר לקבל תוצאות.

קונקי 4.4.25 הצליח להציג את דף החיפוש, אבל לא הצליח להציג את התוכן, חיפוש ע"ג המפה כן עושה רושם שיעבוד :

לפעמים המפה מוצגת ולפעמים זה :

ככל הנראה לפיירפוקס פשוט אין מספיק נתח שוק בשביל שזה יבדק עבורו, נבדק ע"ג 53.0.3 ו 52.


לפי הקריאות יש שימוש ב api של ArcGIS המותקן על מערכת GovMap. מכיוון שהפעם תנאי השימוש באתר נדלן לא אוסרים על פירסום ממצאים אני חושב שמותר לי לכתוב את הפוסט הזה.

תוכן האתר אינו מציג היסטוריית עיסקאות בנכסים (מה שיש באתר רשות המיסים) , לא מציג אכלוסיות ומחירים של דירות על המפה , לא מציג פרוייקטים חדשים או תשתיות על המפה (מה שיש במערכת ה govmap ומשהוא חלקי במערכת מדלן).

לצערי שוב פעם בחרו בתנאי שימוש שאוסרים התמעת מידע ואף שימוש חוזר, יום יבוא ויבנו מערכת וירשו להשתמש בה.

המערכת מספקת עיצוב דומה למדי למדלן ומספקת מידע דומה אך בממשק פחות נוח ממדלן ומציג פחות מידע. אני חושב שאולי המערכת יכלה למשוך שכבות מתוך מערכות govmap ולא רק מרשות המיסים.

לאחר טיול במערכת אני מבין שעדיין אתר מדלן וgovmap הם הפתרון (להשתמש בשניהם ביחד לא רק באחד) בשביל לקבל תמונה טובה יותר בזמן שכירות.

14 June, 2017 10:59 AM

00:00.0 Host bridge: Intel Corporation Device 5904 (rev 02)
00:02.0 VGA compatible controller: Intel Corporation Device 5916 (rev 02)
00:04.0 Signal processing controller: Intel Corporation Skylake Processor Thermal Subsystem (rev 02)
00:14.0 USB controller: Intel Corporation Sunrise Point-LP USB 3.0 xHCI Controller (rev 21)
00:14.2 Signal processing controller: Intel Corporation Sunrise Point-LP Thermal subsystem (rev 21)
00:15.0 Signal processing controller: Intel Corporation Sunrise Point-LP Serial IO I2C Controller #0 (rev 21)
00:15.1 Signal processing controller: Intel Corporation Sunrise Point-LP Serial IO I2C Controller #1 (rev 21)
00:16.0 Communication controller: Intel Corporation Sunrise Point-LP CSME HECI #1 (rev 21)
00:17.0 SATA controller: Intel Corporation Sunrise Point-LP SATA Controller [AHCI mode] (rev 21)
00:1c.0 PCI bridge: Intel Corporation Device 9d10 (rev f1)
00:1c.4 PCI bridge: Intel Corporation Sunrise Point-LP PCI Express Root Port #5 (rev f1)
00:1c.5 PCI bridge: Intel Corporation Sunrise Point-LP PCI Express Root Port #6 (rev f1)
00:1f.0 ISA bridge: Intel Corporation Device 9d58 (rev 21)
00:1f.2 Memory controller: Intel Corporation Sunrise Point-LP PMC (rev 21)
00:1f.3 Audio device: Intel Corporation Device 9d71 (rev 21)
00:1f.4 SMBus: Intel Corporation Sunrise Point-LP SMBus (rev 21)
01:00.0 3D controller: NVIDIA Corporation GM108M [GeForce 940MX] (rev a2)
02:00.0 Network controller: Intel Corporation Wireless 3165 (rev 79)
03:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller (rev 15)

14 June, 2017 10:37 AM

Thinking process behind choosing a tool

Thinking process behind choosing a tool does not get the attention it deserves. While there are many discussions of the form tool X vs tool Y, there is very little discussion of how one should choose between tools or in presumable absence of alternatives, whether one should use the only candidate, tool X. This post will cover few things to keep in mind when selecting a tool by highlighting few common problems and fallacies. Puppet will be used as an example tool for consideration.

Focusing on positive parts only

When considering a product or a tool, too often positive aspects are overestimated and negative aspects that influence TCO (Total Cost of Ownership) are underestimated or neglected. There are several cognitive biases and logical fallacies involved. Cognitive biases and logical fallacies can be avoided to some extent just by being aware. I will be referring to these through the post to help you, the reader, become more aware of your thought process which will hopefully improve it and consequently the process of decision making on your part.

Marketing pushes to see the positive

We all know that marketing focuses on positive aspects of a product and neglects to mention downsides. This is specifically mentioned in “False advertising” article under “Omitting information”.

For example, the fact that it’s not convenient to manage Puppet modules (proof: existence of a tool to do just that) will not appear in marketing materials. You might think that the existence of Librarian-puppet is on the contrary, makes management of these modules easier. It does but it also brings more complexity to the system. New problems and bugs instead of inhuman manual management of modules.

This post will focus on the negative

While there is more than enough focus on positive aspects of products, this post will be highlighting the negative aspects in order to strike some balance. There is plenty of marketing materials but it’s harder to find a list of problems that you only discover when you are neck-deep into the tool/product. These problems will be listed here. Note that this can not be exhaustive list because different situations reveal different problems and this post is only based on experience of several of my friends and mine.

Listing the problems of a tool touches Availability heuristic cognitive bias: the easier you recall something the more “important” it is. You are bombarded by marketing materials which are all positive. When considering a tool, your natural flow of thought is “How easily can I remember positive sides of the tool?” and it’s easy, because you were probably brainwashed already by how good the tool is. Then “How easily can I remember negative sides of the tool?” is much harder. This is not the kind of information that will be pushed to you by the people behind the tool, they have no interest in doing so. Their money goes to advertise how good the tool is, not how bad it is. You can balance your rosy impressions of any tool or product with looking at GitHub issues, digging StackOverflow for the downsides, or reading posts like this one.

Please, assume that X is the wrong tool for your needs.

As opposed to “yeah, looks good, let’s use it”, this approach leads to more thoughtful tool selection process. Please read Prove your tool is the right choice.

“Everybody uses X”

“Everybody uses X” thought might have been planted in your brain by marketing efforts. Please analyze the source of that thought carefully. Maybe you have heard from some of your friends and/or colleagues about the product and made a generalization? Maybe people are just stuck with it? Maybe that’s what they know? Did you search for alternatives? Did you try to disprove “Everybody uses X”?

“Everybody uses X, therefore it’s good”

Whether this thought was planted by marketing or not, no, there is no logical connection between the first and the second clauses.

If a lot of people use something, it becomes better as there is more feedback and contributors. It is often implied that therefore X is good. Improvement over time or with user base does not mean X is good enough for any particular use right now.

Did you communicate with the people that use X? Did they tell you it was a good decision? Beware of Choice-supportive bias when you talk to them. Which alternatives did they consider? Are they able to articulate downsides? Every solution has downsides, being able to recognize these increases credibility of the opinion about X.

“Everybody uses X, we should use X”

Yes, if you consider the value of “then we can blog about it and be part of the hype, possibly getting some traction and traffic”. This might have some estimated value which should be weighted against the cost incurred by choosing otherwise unneeded or inferior tool or technology. You can point your bosses to this paragraph, along with your estimation of the costs of using tool X vs better alternatives (which might be just not using it and coding yourself the needed functionality for example, the comparison is valid for both X vs Y and X vs without X).

No, “We should use X” does not logically follow from “Everybody uses X”. Beware of conformity bias.

“Company C uses X”

This piece of information, when served by vendor of X implies that company C knows better and you should use X too.

Company C is big and respectable company with smart engineers. The vendor of X will gladly list big and reputable companies that use X. That’s the use of “Argument from authority”.

Again, there is no straight logical path between “C uses X” and “we should use X too”.

Chances are that company C is vastly different from your company and their circumstances and situation are different from yours.

Company C can also make mistakes. You are unlikely to see a blog post from vendor of X that is titled “Company C realized their mistake and migrated from X”.

Claims of success with tool X

Treat claims of successful usage of tool X with caution. Searching quickly for “measuring project success” reveals the following dimensions to be looked at when estimating a success of a project:

• Cost
• Scope
• Quality
• Time
• Team satisfaction
• Customer satisfaction

The claims of successful usage of tool X carry almost no information regarding what really happens. “We are using Puppet successfully” might mean (when taken to extreme) that for 100 servers and one deploy per day the following applies:

• Cost: There is dedicated team of five costly operations people that work just on Puppet because it’s complex.
• Scope: Puppet covers 80% of the needs, this might be the only dimension looked into when claiming a success.
• Quality, Team satisfaction: This team is constantly cursing because of bugs, modules or Puppet upgrades issues such as Upgrade to puppet-mysql 3.6.0 Broke My Manifest (fixed in just two months!) or puppet 4.5.0 has introduced a internal version of dig, that is not compatible to stdlib’s version oopsie.

  Enjoy the list of regression bugs. It’s hard to blame Puppet developers for these bugs because these kinds of issues are natural for projects of this size and complexity. I suggest that creating your own domain-specific language, which is not a programming language for a configuration management tool is a bad idea. I’ll elaborate about this point in a bit, in the “Puppet DSL” section.

• Time: Took 6 moths of the above team to implement Puppet. Unpredictable time to implement any feature because of complexity and unexpected bugs along the way.
• Customer satisfaction: Given all of the above it’s hard to believe in any kind of satisfaction with what’s going on.

It’s also worth to keep in mind that any shown success, real success, does not mean that same solution will be equally applicable to your situation, because it’s almost certainty different on one or more dimensions: time, budget, scope (problem you are solving), skills, requirements.

“But X also provides feature F”

I am sure that the advertisements will mention all the important features as well as “cool” features. Do you really need F?

When choosing a tool the thought “But X also provides feature F” might be dangerous if F is not something you immediately need. One might think that F might be needed later. This might be the case but what are the odds, what’s the value of F to you, how much will it cost to implement using another tool or write yourself? Also, consider the “horizon”. If you might need feature F in 3 years, in many situations this should be plainly ignored. In 3 years there might be another tool for F or you might switch from X to something else for other reasons by then.

Suppose there is another tool X2 which is alternative to X. X2 does not provide F but it’s estimated TCO over a year is 50% less than F. You should consider the costs because it might be that X2 for the first year and then switching to X, including the switching costs can be cheaper.

Putting tools before needs

“So, there is new trendy hypy tool X. How can we use it?” is typically a bad start. At the very least it should be “So, there is new trendy hypy tool. Do we have any problems where X would be a better alternative?”

Ideally the approach would be “We have problem P, which alternative solutions do we have?”. P might be some inefficiency or desired functionality. Solutions, once again, do not have to mean existing tools.

Puppet – the good parts

I will quickly go over a few good parts because I want this post at least to try to be objective.

Convergence

Convergence is an approach that says one should define the desired state, not the steps to be taken to get there. The steps are abstracted away and on each run the system will try to achieve the desired state as closely as possible.

I do agree that declaring a resource such as file, user, package or service and it’s desired state is a good approach. It’s concise and it’s usually simpler than specifying the operations that would lead to the desired state, like regular scripts do. This idea manifests in many other tools too: Chef, Ansible, CloudFormation, Terraform.

Appropriate in some situations

• Think about a startup where someone does part time systems engineering job, not a professional. As Guy Egozy pointed out, there are situations such as startups with limited resources and basic needs where using a configuration management tools might make more sense than in other situations.
• Urgent demo with all defaults if you have a good control of the tool and you know that you need some very specific functionality, say wordpress+mysql demo tomorrow, it is probably worth to prepare the demo with Puppet or Chef. There is still a danger of course that the module you were using a month ago have now changed and you need to invest additional time to make things work. Or maybe the module is just broken now.

Multiple platforms support

In my experience the chances that you will be running same applications on say Windows and Linux are pretty slim. The overlap of installed software on different platforms is likely to be infrastructure tooling only (monitoring, graphing, logging). Is it really worth the price?

Puppet DSL

Puppet class

Puppet DSL has a concept of “class” which has nothing to do with classes in programming languages. It least in retrospective it was not such a good idea, especially when considering operations guys trying to explain about Puppet classes to developers.

Limited DSL limitations

Acknowledged as a problem by facts

Limitations of DSL in my opinion were acknowledged by actions taken by Puppet’s developers and contributors:

• stdlib tremendous growth: wc -l load_vars.rb, the only file in stdlib repo at 2011, gives 56 lines of code. In year 2017, wc -l $(find lib/puppet/parser/functions -name '*.rb') gives 5325 lines of code.
• each and map: Adding each and map in version 4.0.0: Added on 2014-04-08 according to GitHub. First puppet release was on 2006-01-03 (version 0.9.3). This means that it took 9 years to implement a loop, “In earlier versions of Puppet, when there were no iteration functions and lambdas weren’t supported, you could achieve a clunkier form of iteration” (same Puppet documentation page).
• Lambdas: Adding Lambdas in Puppet 3 as experimental feature, what a novel idea from 1936! Implemented in many languages for years.

Limited DSL is not a great idea!

I do understand why limited DSL can be aesthetically and mathematically appealing. The problem here is that life is more complex than limited DSL. What could be 10 lines of real code turns into 50 lines of ugly copy+paste and/or hacks around the DSL limitations.

It sounds reasonable that at the time when CFengine and Puppet were created there were not enough examples of shortcomings of limited DSLs and their clashes with real life. Today we have more:

• Puppet – DSL failure admitted by actions, as discussed above.
• Ansible – just looks bad . Some features look like they were torn from a programming language and forced into YAML.
• Terraform – often generated because well … life. This one is more of a configuration language by design. This approach has pros and cons when applied to infrastructure.
• CloudFormation – 99% configuration format and 1% language, that’s why it’s generated for all except trivial cases. You do have the alternative of not generating CloudFormation input file but provide custom resources which use AWS Lambda functions instead. They will do some of the work. While this fits CloudFormation model perfectly, and makes CloudFormation much more powerful, I would really prefer a script over inversion of control and additional AWS service (Lambda) which I have to use – one more thing that can go wrong or just be unavailable when needed the most.

I do not agree that Terraform should be limited the way it is, but in my opinion, Terraform and CloudFormation are more legitimately limited while Puppet and Ansible are just bad design. This limitation by design causes complex workarounds which are costly and sometimes fragile, not to mention mental well being of the systems engineers that are working with Puppet.

We can all stop now creating domain specific languages for configuration management which were not built on top of real programming languages. Except for a few cases, that’s a bad idea. We can admit it instead of perpetuating the wishful thinking that the reality is simple and limited DSL can deal with it somehow.

Puppet modules

Dependencies between Puppet modules

Plainly headache. Modules have dependencies on other modules and so on. Finding compatible modules’ versions is a hard problem. That’s why we have Librarian-puppet. As I mentioned above, it has it’s own issues.

There are also issues that Librarian-puppet can not solve, which are inherent to system of this scale, complexity and number of contributors. Let’s say you have module APP1 that depends on module LIB and module APP2 that also depends on LIB. Pinning version of module LIB because APP1 has a bug can prevent you from upgrading module APP2 which in newer versions depends on newer LIB. This is not imaginary scenario but real life experience.

Breakage of Puppet modules

Another aspect is that in this complex environment it’s somewhere between hard and impossible for any module maintainer to make sure his/her changes do not break anything. Therefore, they do break:

• Custom nginx.conf template is no longer working
• Changes from Validate_ to datatypes is not backward compatible with Puppet 3.8.7
• Nginx location as exported resource not working anymore

Popular community modules deal with so many cases and operating systems that breakage of some functionality is inevitable.

Community modules

There is this idea that is kind of in the air: “you have community modules for everything, if you are not using them you are incompetent and wasting your time and money”.

This could come from 3 sources:

• Marketing
• People that use community modules for simple cases and they work fine
• People that underestimate the amount of maintenance work required to make community modules work for your particular case.

The feedback that I’ve got several times from different sources is that if you are doing anything serious with your configuration management tool, you should write your own modules, fitting community modules to your needs is too costly.

Graph dependencies model problems

Do you know people who think in dependency graphs? It looks like most people that I know are much more comfortable thinking about sequence of items or operations to perform in most cases. Thinking about dependency graphs such as about packages’ versions compatibility usually comes with recognizable significant mental effort, often with curses.

Puppet team admitted (again, by actions) this is a problem and introduced ordering configuration and made “manifest” ordering the default at some point. Note that this ordering is only for resources without explicit dependencies and within one manifest.

Graphs are somewhat implicit. This causes surprise and consequential WTFs. Messages about dependencies errors are not easily understood.

• “Dependencies are also arguably the most maligned feature of Puppet” – openshift.com.

Marketing

• Puppet usage is compared to manual performance of the same tasks – “Getting rid of the manual deployments”. This is clearly a marketing trick: comparing your tool to the worst possible alternative, not other tools which are similar to yours.
• Puppet is compared to bash scripts. Why not Python or Ruby?
• “Automate!” is all over Puppet site. Implies that Puppet is a good automation tool.
• Top 5 success stories / case studies use Puppet Enterprise? Coincidence? I think not

Thanks

Many thanks for guidance to Konstantin Nazarov (@racktear). We met at DevOpsDays Moscow 2017 where he offered free guidance lessons for improving speech and writing skills. In reality, lessons also include productivity tips which help me a lot. Feel free to contact Konstantin, he might have a free weekly slot for you.

Have a productive career!

09 June, 2017 05:59 AM

debian.org.il היה חלק מה"חוב הטכני" שלי. מדובר באתר די פשוט שנבנה עם Django pre-1.0 ופייתון 2.6, והציג נהלים לקויים (כמו הכללת שם הפרוייקט ב־import).

לאחר שדרוג whatsup.org.il, אשר מארח גם את debian.org.il, הסביבה הוירטואלית נשברה (כמו גם דברים אחרים בשרת). החלטתי לנצל את ההזדמנות ולעדכן את הפרוייקט למשהו סביר יותר.

הקוד החדש באתר כולל:

• עיצוב Mobile first וריספונסיבי, מבוסס על Pure.css
• פייתון 3
• Django 1.11
• משתמש ב־class based generic views
• ארגון קוד משופר
• החלפת יישום התגים המותאם ב־ django-taggit
• הגדרות מבוססות משתני סביבה, בעזרת django-environ

הפריעה לי גם העובדה שהקוד מעולם לא פורסם (היה קובץ settings.py בודד, עם הסיסמאות בתוכו וכד'). גם נקודה זו טופלה והקוד זמין כעת בגיטהאב:

https://github.com/MeirKriheli/debian.org.il

09 May, 2017 02:41 PM

This year I decided to participate in Midburn, the Israeli version of burning man. Whiling thinking of doing something different from my usual habit, I found myself with volunteering in the midburn IT department and getting a task to make it an open source project. Back into my comfort zone, while trying to escape it.

I found a community of volunteers from the Israeli high tech scene who work together for building the infrastructure for Midburn. In many ways, it’s already an open source community by the way it works. One critical and formal fact was lacking, and that’s the license for the code. After some discussion we decided on using Apache License 2.0 and I started the process of changing the license, taking it seriously, making sure it goes “by the rules”.

Our code is available on GitHub at https://github.com/Midburn/. And while it still need to be more tidy, I prefer the release early and often approach. The main idea we want to bring to the Burn infrastructure is using Spark as a database and have already began talking with parallel teams of other burn events. I’ll follow up on our technological agenda / vision. In the mean while, you are more than welcome to comment on the code or join one of the teams (e.g. volunteers module to organize who does which shift during the event).

Full text

19 April, 2017 03:01 PM

The following screenshot of a systemd issue reported on github saysit all. I don't care if systemd is technically superior, the way it's being developed is truely bothering. It's leadership is insisting on being blunt ingoring users, misleading and even wrong. continue reading...

17 April, 2017 02:36 PM

Sometimes programming language developers decide that certain practices are bad, so bad that they try to prevent their use through the language they develop. For example: In both Java and C# multiple inheritance is not allowed. The language standard prohibits it, so trying to specify more than one base class will result in compiler error. […]

15 April, 2017 05:24 PM

As you probably already know, Wikipedia is a website. A website has content—the articles; and it has user interface—the menus around the articles and the various screens that let editors edit the articles and communicate to each other.

Another thing that you probably already know is that Wikipedia is massively multilingual, so both the content and the user interface must be translated.

Translation of articles is a topic for another post. This post is about getting all of the user interface translated to your language, as quickly and efficiently as possible.

The most important piece of software that powers Wikipedia and its sister projects is called MediaWiki. As of today, there are 3,335 messages to translate in MediaWiki, and the number grows frequently. “Messages” in the MediaWiki jargon are strings that are shown in the user interface, and that can be translated. In addition to core MediaWiki, Wikipedia also has dozens of MediaWiki extensions installed, some of them very important—extensions for displaying citations and mathematical formulas, uploading files, receiving notifications, mobile browsing, different editing environments, etc. There are around 3,500 messages to translate in the main extensions, and over 10,000 messages to translate if you want to have all the extensions translated. There are also the Wikipedia mobile apps and additional tools for making automated edits (bots) and monitoring vandalism, with several hundreds of messages each.

Translating all of it probably sounds like an enormous job, and yes, it takes time, but it’s doable.

In February 2011 or so—sorry, I don’t remember the exact date—I completed the translation into Hebrew of all of the messages that are needed for Wikipedia and projects related to it. All. The total, complete, no-excuses, premium Wikipedia experience, in Hebrew. Every single part of the MediaWiki software, extensions and additional tools was translated to Hebrew, and if you were a Hebrew speaker, you didn’t need to know a single English word to use it.

I wasn’t the only one who did this of course. There were plenty of other people who did this before I joined the effort, and plenty of others who helped along the way: Rotem Dan, Ofra Hod, Yaron Shahrabani, Rotem Liss, Or Shapiro, Shani Evenshtein, Inkbug (whose real name I don’t know), and many others. But back then in 2011 it was I who made a conscious effort to get to 100%. It took me quite a few weeks, but I made it.

Of course, the software that powers Wikipedia changes every single day. So the day after the translations statistics got to 100%, they went down to 99%, because new messages to translate were added. But there were just a few of them, and it took me a few minutes to translate them and get back to 100%.

I’ve been doing this almost every day since then, keeping Hebrew at 100%. Sometimes it slips because I am traveling or I am ill. It slipped for quite a few months because in late 2014 I became a father, and a lot of new messages happened to be added at the same time, but Hebrew is back at 100% now. And I keep doing this.

With the sincere hope that this will be useful for translating the software behind Wikipedia to your language, let me tell you how.

Preparation

First, let’s do some work to set you up.

• Get a translatewiki.net account if you haven’t already.
• Make sure you know your language code.
• Go to your preferences, to the Editing tab, and add languages that you know to Assistant languages. For example, if you speak one of the native languages of South America like Aymara (ay) or Quechua (qu), then you probably also know Spanish (es) or Portuguese (pt), and if you speak one of the languages of the former Soviet Union like Tatar (tt) or Azerbaijani (az), then you probably also know Russian (ru). When available, translations to these languages will be shown in addition to English.
• Familiarize yourself with the Support page and with the general localization guidelines for MediaWiki.
• Add yourself to the portal for your language. The page name is Portal:Xyz, where Xyz is your language code.

Priorities, part 1

The translatewiki.net website hosts many projects to translate beyond stuff related to Wikipedia. It hosts such respectable Free Software projects as OpenStreetMap, Etherpad, MathJax, Blockly, and others. Also, not all the MediaWiki extensions are used on Wikimedia projects; there are plenty of extensions, with thousands of translatable messages, that are not used by Wikimedia, but only on other sites, but they use translatewiki.net as the platform for translation of their user interface.

It would be nice to translate all of it, but because I don’t have time for that, I have to prioritize.

On my translatewiki.net user page I have a list of direct links to the translation interface of the projects that are the most important:

• Core MediaWiki: the heart of it all
• Extensions used by Wikimedia: the extensions on Wikipedia and related sites
• MediaWiki Action Api: the documentation of the API functions, mostly interesting to developers who build tools around Wikimedia projects
• Wikipedia Android app
• Wikipedia iOS app
• Installer: MediaWiki’s installer, not used in Wikipedia because MediaWiki is already installed there, but useful for people who install their own instances of MediaWiki, in particular new developers
• Intuition: a set of different tools, like edit counters, statistics collectors, etc.
• Pywikibot: a library for writing bots—scripts that make useful automatic edits to MediaWiki sites.

I usually don’t work on translating other projects unless all of the above projects are 100% translated to Hebrew. I occasionally make an exception for OpenStreetMap or Etherpad, but only if there’s little to translate there and the untranslated MediaWiki-related projects are not very important.

Priorities, part 2

So how can you know what is important among more than 15,000 messages from the Wikimedia universe?

Start from MediaWiki most important messages. If your language is not at 100% in this list, it absolutely must be. This list is automatically created periodically by counting which 600 or so messages are actually shown most frequently to Wikipedia users. This list includes messages from MediaWiki core and a bunch of extensions, so when you’re done with it, you’ll see that the statistics for several groups improved by themselves.

Now, if the translation of MediaWiki core to your language is not yet at 18%, get it there. Why 18%? Because that’s the threshold for exporting your language to the source code. This is essential for making it possible to use your language in your Wikipedia (or Incubator). It will be quite easy to find short and simple messages to translate (of course, you still have to do it carefully and correctly).

Getting Things Done, One by One

Once you have the most important MediaWiki messages 100% and at least 18% of MediaWiki core is translated to your language, where do you go next?

I have surprising advice.

You need to get everything to 100% eventually. There are several ways to get there. Your mileage may vary, but I’m going to suggest the way that worked for me: Complete the easiest piece that will get your language closer to 100%! For me this is an easy way to strike an item off my list and feel that I accomplished something.

But still, there are so many items at which you could start looking! So here’s my selection of components that are more user-visible and less technical, sorted not by importance, but by the number of messages to translate:

• Cite: the extension that displays footnotes on Wikipedia
• Babel: the extension that displays boxes on userpages with information about the languages that the user knows
• Math: the extension that displays math formulas in articles
• Thanks: the extension for sending “thank you” messages to other editors
• Universal Language Selector: the extension that lets people select the language they need from a long list of languages (disclaimer: I am one of its developers)
  • jquery.uls: an internal component of Universal Language Selector that has to be translated separately for technical reasons
• Wikibase Client: the part of Wikidata that appears on Wikipedia, mostly for handling interlanguage links
• VisualEditor: the extension that allows Wikipedia articles to be edited in a WYSIWYG style
• ProofreadPage: the extension that makes it easy to digitize PDF and DjVu files on Wikisource
• Wikibase Lib: additional messages for Wikidata
• Echo: the extension that shows notifications about messages and events (the red numbers at the top of Wikipedia)
• MobileFrontend: the extension that adapts MediaWiki to mobile phones
• WikiEditor: the toolbar for the classic wiki syntax editor
• ContentTranslation extension that helps translate articles between languages (disclaimer: I am one of its developers)
• Wikipedia Android mobile app
• Wikipedia iOS mobile app
• UploadWizard: the extension that helps people upload files to Wikimedia Commons comfortably
• Flow: the extension that is starting to make talk pages more comfortable to use
• Wikibase Repo: the extension that powers the Wikidata website
• Translate: the extension that powers translatewiki.net itself (disclaimer: I am one of its developers)
• MediaWiki core: the base MediaWiki software itself!

I put MediaWiki core last intentionally. It’s a very large message group, with over 3000 messages. It’s hard to get it completed quickly, and to be honest, some of its features are not seen very frequently by users who aren’t site administrators or very advanced editors. By all means, do complete it, try to do it as early as possible, and get your friends to help you, but it’s also OK if it takes some time.

Getting All Things Done

OK, so if you translate all the items above, you’ll make Wikipedia in your language mostly usable for most readers and editors.

But let’s go further.

Let’s go further not just for the sake of seeing pure 100% in the statistics everywhere. There’s more.

As I wrote above, the software changes every single day. So do the translatable messages. You need to get your language to 100% not just once; you need to keep doing it continuously.

Once you make the effort of getting to 100%, it will be much easier to keep it there. This means translating some things that are used rarely (but used nevertheless; otherwise they’d be removed). This means investing a few more days or weeks into translating-translating-translating.

You’ll be able to congratulate yourself not only upon the big accomplishment of getting everything to 100%, but also upon the accomplishments along the way.

One strategy to accomplish this is translating extension by extension. This means, going to your translatewiki.net language statistics: here’s an example with Albanian, but choose your own language. Click “expand” on MediaWiki, then again “expand” on “MediaWiki Extensions”, then on “Extensions used by Wikimedia” and finally, on “Extensions used by Wikimedia – Main”. Similarly to what I described above, find the smaller extensions first and translate them. Once you’re done with all the Main extensions, do all the extensions used by Wikimedia. (Going to all extensions, beyond Extensions used by Wikimedia, helps users of these extensions, but doesn’t help Wikipedia very much.) This strategy can work well if you have several people translating to your language, because it’s easy to divide work by topic.

Another strategy is quiet and friendly competition with other languages. Open the statistics for Extensions Used by Wikimedia – Main and sort the table by the “Completion” column. Find your language. Now translate as many messages as needed to pass the language above you in the list. Then translate as many messages as needed to pass the next language above you in the list. Repeat until you get to 100%.

For example, here’s an excerpt from the statistics for today:

Let’s say that you are translating to Malay. You only need to translate eight messages to go up a notch (901 – 894 + 1). Then six messages more to go up another notch (894 – 888). And so on.

Once you’re done, you will have translated over 3,400 messages, but it’s much easier to do it in small steps.

Once you get to 100% in the main extensions, do the same with all the Extensions Used by Wikimedia. It’s over 10,000 messages, but the same strategies work.

Good Stuff to Do Along the Way

Never assume that the English message is perfect. Never. Do what you can to improve the English messages.

Developers are people just like you are. They may know their code very well, but they may not be the most brilliant writers. And though some messages are written by professional user experience designers, many are written by the developers themselves. Developers are developers; they are not necessarily very good writers or designers, and the messages that they write in English may not be perfect. Keep in mind that many, many MediaWiki developers are not native English speakers; a lot of them are from Russia, Netherlands, India, Spain, Germany, Norway, China, France and many other countries, and English is foreign to them, and they may make mistakes.

So report problems with the English messages to the translatewiki Support page. (Use the opportunity to help other translators who are asking questions there, if you can.)

Another good thing is to do your best to try running the software that you are translating. If there are thousands of messages that are not translated to your language, then chances are that it’s already deployed in Wikipedia and you can try it. Actually trying to use it will help you translate it better.

Whenever relevant, fix the documentation displayed near the translation area. Strange as it may sound, it is possible that you understand the message better than the developer who wrote it!

Before translating a component, review the messages that were already translated. To do this, click the “All” tab at the top of the translation area. It’s useful for learning the current terminology, and you can also improve them and make them more consistent.

After you gain some experience, create a localization guide in your language. There are very few of them at the moment, and there should be more. Here’s the localization guide for French, for example. Create your own with the title “Localisation guidelines/xyz” where “xyz” is your language code.

As in Wikipedia, Be Bold.

OK, So I Got to 100%, What Now?

Well done and congratulations.

Now check the statistics for your language every day. I can’t emphasize how important it is to do this every day.

The way I do this is having a list of links on my translatewiki.net user page. I click them every day, and if there’s anything new to translate, I immediately translate it. Usually there is just a small number of new messages to translate; I didn’t measure precisely, but usually it’s less than 20. Quite often you won’t have to translate from scratch, but to update the translation of a message that changed in English, which is usually even faster.

But what if you suddenly see 200 new messages to translate? It happens occasionally. Maybe several times a year, when a major new feature is added or an existing feature is changed.

Basically, handle it the same way you got to 100% before: step by step, part by part, day by day, week by week, notch by notch, and get back to 100%.

But you can also try to anticipate it. Follow the discussions about new features, check out new extensions that appear before they are added to the Extensions Used by Wikimedia group, consider translating them when you have a few spare minutes. At the worst case, they will never be used by Wikimedia, but they may be used by somebody else who speaks your language, and your translations will definitely feed the translation memory database that helps you and other people translate more efficiently and easily.

Consider also translating other useful projects: OpenStreetMap, Etherpad, Blockly, Encyclopedia of Life, etc. Up to you. The same techniques apply everywhere.

What Do I Get for Doing All This Work?

The knowledge that thanks to you people who read in your language can use Wikipedia without having to learn English. Awesome, isn’t it? Some people call it “Good karma”.

Oh, and enormous experience with software localization, which is a rather useful job skill these days.

Is There Any Other Way in Which I Can Help?

Yes!

If you find this post useful, please translate it to other languages and publish it in your blog. No copyright restrictions, public domain (but it would be nice if you credit me and send me a link to your translation). Make any adaptations you need for your language. It took me years of experience to learn all of this, and it took me about four hours to write it. Translating it will take you much less than four hours, and it will help people be more efficient translators.

07 April, 2017 07:34 PM

When I first discovered Linux and the world of Free Software, I was already programming in the Microsoft ecosystem for several years, both as a hobby, and for a living. I thought switching to writing Linux programs was just a matter of learning a new API. I was wrong! Very wrong! I couldn’t find my […]

03 April, 2017 09:04 PM

את התרגום של Django 1.10 פספסתי עקב עומס. התחלתי לתרגם לקראת השחרור הצפוי של Django 1.11, ביום שלישי הרביעי באפריל. הפעם התרגום עמד על 93%.

נכון ליום שבת, הראשון באפריל בנובמבר התרגום עומד על 100% עבור:

• django-core
• django-formtools
• django-people
• django-contrib-comments

נשארו בחוץ, שוב, עקב חוסר זמן והיקף המשימה:

• django-localflavor
• django-docs

01 April, 2017 03:27 PM

Chicago in the 1930s was a hive of organized crime where the bad guys always had the upper hand. As dramatized by the film "The Untouchables," lawman Eliot Ness confides to Officer Jim Malone that he is prepared to do “everything within the law” to take down Al Capone. But streetwise Malone tells Ness that, to win, he must be prepared to do more. “He pulls a knife, you pull a gun. He sends one of yours to the hospital, you send one of his to the morgue. That’s the Chicago way.”

Like ‘30s Chicago, the dark web is crawling with global crime syndicates, and everyone I've talked to says fighting the Chicago way sounds appealing. The problem is that the same laws that make hacking a crime also make it a crime to retaliate.

Read full article at Forbes here

Full text

16 February, 2017 12:12 AM

I’m using rsync to sync files from my computer to a FAT formatted SD card. Using the --update flag to rsync makes it “skip files that are newer on the receiver”. It seems that it should work as follows: After the first sync, any subsequent syncs will only transfer those files which changed in the meantime. However, I noticed that transfer times are usually longer than expected, which led me to think that things are not working as they should.

As --update relies only on modification date, obviously something is wrong with it. After ruling out several other possibilities, I’ve guessed that the modification date of some files get mangled. A quick check about FAT revealed that FAT can only save modification times in 2 second granularity. I’ve also used rsync’s --archive flag, which among other things attempts to preserve modifications times of the files it copies. But what about FAT’s lower granularity for modification time? That was apparently the culprit. Some files when copied got a modification time which was up to 1 second before the original modification time! Hence, every time I’ve synced, from rsync’s perspective, the target was older than the source, and hence needs to be overwritten.

This can be demonstrated by the following session:

$ dd if=/dev/urandom of=test-even bs=1M count=100
100+0 records in
100+0 records out
104857600 bytes (105 MB) copied, 6.20716 s, 16.9 MB/s
$ cp test-even test-odd

$ touch -t 201701180000.00 test-even 
$ touch -t 201701180000.01 test-odd

$ stat -c %Y test-*
1484690400
1484690401

We’ve created two files test-even and test-odd with random content. We’ve set the modification time of test-even to be on an even second, and for test-odd to be on an odd second (one second apart). Simply syncing the files to a FAT partitioned device works as expected:

$ rsync -av --update test-{even,odd} /media/guyru/4E09-6457
sending incremental file list
test-even
test-odd

sent 209,766,550 bytes  received 54 bytes  7,627,876.51 bytes/sec
total size is 209,715,200  speedup is 1.00

Resyncing immediately also works:

$ rsync -avv --update test-{even,odd} /media/guyru/4E09-6457
sending incremental file list
delta-transmission disabled for local transfer or --whole-file
test-even is uptodate
test-odd is uptodate
total: matches=0  hash_hits=0  false_alarms=0 data=0

sent 78 bytes  received 136 bytes  428.00 bytes/sec
total size is 209,715,200  speedup is 979,977.57

Both files are reported as being up-to-date. But what happens if we unmount and remount the device and then sync?

$ umount /media/guyru/4E09-6457 
$ udisksctl mount --block-device /dev/disk/by-uuid/4E09-6457 
Mounted /dev/sdd1 at /media/guyru/4E09-6457.

$ time rsync -avv --update test-{even,odd} /media/guyru/4E09-6457
sending incremental file list
delta-transmission disabled for local transfer or --whole-file
test-even is uptodate
test-odd
total: matches=0  hash_hits=0  false_alarms=0 data=104857600

sent 104,883,314 bytes  received 131 bytes  7,769,144.07 bytes/sec
total size is 209,715,200  speedup is 2.00

This time test-odd was reported as needing to be updated. So what changed? My guess is that while the device was mounted, modifcation dates were cached using normal granularity. Once I’ve remounted the file-system, the cache was purged, the the low-granularity modification date was used. That meant test-odd now had a modificaiton time which was one second before the original.

So how can it be avoided? Probably the trivial solution is to tell rsync not to copy over the modification date. This means that the copied files would probably anyway get a new modification time which is more than 1 second later than the original, hence even when rounding the modification time as FAT does it will still work. But a much better solution is built right into rsync: --modify-window

When comparing two timestamps, rsync treats the timestamps as
being equal if they differ by no more than the modify-window
value. This is normally 0 (for an exact match), but you may
find it useful to set this to a larger value in some situations.
In particular, when transferring to or from an MS Windows FAT
filesystem (which represents times with a 2-second resolution),
–modify-window=1 is useful (allowing times to differ by up to 1
second).

By using --modify-window=1 we can overcome the problem, as the files will be deemed as modified at the same time. Indeed it solves the problem:

$ rsync -avv --update --modify-window=1 test-{even,odd} /media/guyru/4E09-6457
sending incremental file list
delta-transmission disabled for local transfer or --whole-file
test-even is uptodate
test-odd is uptodate
total: matches=0  hash_hits=0  false_alarms=0 data=0

sent 82 bytes  received 140 bytes  444.00 bytes/sec
total size is 209,715,200  speedup is 944,663.06

23 January, 2017 06:45 PM

מבחינה טכנולוגית, שנת 2016 היתה שנה מרתקת. לצערי, לא מצאתי סיכומים הולמים לשנה כה אינטסיבית ואולי אף הייתי אומר – מופרעת. אני חושב, שבמקום הראשון, בישראל, השנה הזו היתה קודם כל שנת האופניים החשמליים. רבים מתייחסים אליהם מבחינת היקף התאונות, אבל להערכתי העניין הגדול הוא מספר כלי הרכב הללו הנעים על הכבישים. אט אט, האופניים … להמשיך לקרוא סיכום שנה שנת 2016 + מצבה של התוכנה החופשית

הטקסט המלא

13 January, 2017 12:10 PM

A little less than six months ago, we held the first PyCon in Israel. To our dismay, it took us this long to post all the videos from the event, but now they’re finally up, and you can finally catch up on The Track Not Taken.

We’d like to take this opportunity to clear the 2016 table and summarize the conference, to give it some closure.

The conference was a lot of work and fun to organize, and truly wonderful to witness. We’ve had:

• About 350 visitors over the two days
• 3 inspiring keynotes
• 32 talks on different subjects
• 15 foreign speakers
• 12 sponsors
• 2 cinema theaters for the two tracks

Over and beyond the hard data, there was a great feeling of a community coming together.

There’s a few points we want to discuss in more details:

Diversity

We made a conscious effort to make the conference more welcoming to diverse populations. This included a well-defined Code of Conduct, as well as reaching out to specific communities, which are usually underrepresented in technical conferences. This included, of course, the cooperation with Django Girls Tel Aviv, who were invited to the conference; we did not collect the statistics of visitor gender, but we have reason to believe it was significantly more balanced than usual. We also reached out to some other groups who were less clearly visible. By all the feedback we got, everybody felt very welcome.

To our regret, we could not show the same level of diversity among the speakers. Only 3 of the 32 accepted talks were presented by women, and none of these were Israeli. Further, we did not have a travel-support plan for speakers, and partly as a result of that, we did not have any speaker from the less-privileged parts of the world. We still have some way to go there.

We intend to keep pursuing diversity in future editions of PyCon Israel.

Budget

In the spirit of Open Source and transparency, we’re happy to share a summary of our budget (all numbers are thousands of Shekels).

Income

Sponsorship: 246

Ticket sales: 54

Total: 300

Expenses

Venue (incl. food): 134

Conf. party (food+movie): 41

Keynote speakers travel: 30

Speaker’s dinner: 13

Video recording & editing: 20

T-shirts & other swag: 28

Wireless internet: 5

Various other: 3

Total: 274

As you can see, we ended with a positive balance of close to 26K ILS. This is more than we intended, a miss we attribute to over-cautiousness and inexperience. A small part of this surplus will go to support Hamakor, the Israeli F/OSS association which helped make the conference happen, and the rest will go into the budget of the next PyCon Israel.

Community organizations

We’d like to call out three special groups which could use your help — participation as well as sponsorship; groups whose ongoing work enabled this conference and will hopefully enable others like it in the future:

• The Python Software Foundation. They are the good people who take care of the ongoing development of the Python language and the global activities around it. The PSF sponsored PyCon Israel 2016, as it does many such events,
• PyWeb-IL — the mostly informal group of people, with a mailing list and a meetup group, whose continuous activity and monthly mini-conferences are the beating heart of the Israeli Python community,
• And last but not least — Hamakor, the Israeli Free and Open-Source Software NPO, whose main mission is to handle the legal and financial side of activities and conferences like ours.

2017

Since so long has passed, we can also add a look to the future: Preparations for PyCon Israel 2017 have already started! You can join the organizing team, or just keep track of our progress via our different channels -

Blog: https://medium.com/@pyconil

Twitter: @pyconil, #pyconil

YouTube channel: https://www.youtube.com/channel/UC8ApA9ibgkf0XK7lgTVZgEQ

Facebook: https://www.facebook.com/pyconisrael/

Google group: https://groups.google.com/forum/#!forum/pycon-israel (requires registration)

Website: http://il.pycon.org/

Final words

Watching the months of preparations come to full fruition made our hearts burst with joy. We’d like to thank everyone involved — all CFP submission authors, the invited and accepted speakers, the sponsors (and in particular the Diamond sponsors, Red Hat & Cymmetria), the vendors (and in particular the helpful staff of our wonderful venue at Yes Planet), the Israeli Python community in general for making such an event possible, and you, the attendees, for making it a reality.

See you in 2017,

The PyCon Israel organizing team

18 October, 2016 07:45 PM

צהריים טובים.

לאחר מחזור פיתוח בן שישה חודשים, שוחררה גרסה 3.22 של שולחן העבודה GNOME !

גרסה זו מכילה 22980 שינויים שנרשמו ב־Git על ידי 775 תורמים, בהשוואה ל־28933 שינויים על ידי 837 תורמים ב־3.20.

אחוז התרגום עומד על 80% (36912 מחרוזות מתורגמות, 3682 מעורפלות ו־49874 שאינן מתורגמות), בהשוואה ל־80% (36069 מחרוזות מתורגמות, 3702 מעורפלות ו־4937 שאינן מתורגמות) ב־3.20 ו־82% (37120 מחרוזות מתורגמות, 3326 מעורפלות ו־4675 שאינן מתורגמות) ב־3.18.

על התרגום בעיקר אני אחראי, ולאחרונה הצטרף ניב באר ותרגם את חלק מהתיעוד למשתמש „צעדים חדשים ב־GNOME” (נקרא ‏gnome-getting-started-docs) ואפילו החל לתרגם ליישומים (טרם מצאתי זמן להכניס את התרגומים האחרונים שלו).

להלן מוטמע סרטון המציג את GNOME 3.22. קריינות על ידי קארן סנדלר, לשעבר מנכ״ל קרן GNOME, ומייק טרנטינו. עריכה על ידי Bastian Ilsø, שעורך סרטונים אלו כבר למספר שחרורים.

כרגיל, אוסיף כאן שיר. שיר יפה, שפשוט נהניתי לנגן על הפסנתר.

בברכה,

יוסף אור

23 September, 2016 02:47 PM

ערב טוב.

בשבוע האחרון תרגמתי ובכך צמצמתי פערים של חצי שנה ללא תרגום, והבאתי את GNOME לתרגום מלא (להוציא את gitg ואת gnome-builder, שלא תורגמו גם בגרסה הקודמת).

אחוז התרגום עומד על 80% (36915 מחרוזות מתורגמות, 3727 מעורפלות ו־4987 שאינן מתורגמות), בהשוואה ל־80% (36069 מחרוזות מתורגמות, 3702 מעורפלות ו־4937 שאינן מתורגמות) ב־3.20 ו־82% (37120 מחרוזות מתורגמות, 3326 מעורפלות ו־4675 שאינן מתורגמות) ב־3.18.

לאחר עלייה במספר המחרוזות שאינן מתורגמות נתן לראות התייצבות מספר זה, לצד עלייה חוזרת במספר המחרוזות המתורגמות. הבטחֲתי היא כי GNOME מתורגם באופן מלא. כלומר, להוציא שני היישומים שצוינו לעיל – המשתמש לא יפגוש במחרוזות שאינן מתורגמות.

ניתן לקרוא טיוטת הערות השחרור לגרסה זו של GNOME. גם הפעם לא אסקר השינויים, מקוצר בזמן.

את השיר, הפעם, אקדיש ליום המיוחד, לגעגוע לירושלים.

ערב טוב,

יוסף אור

14 August, 2016 04:05 PM

לא נעים – אבל זה קרה יותר מפעם אחת במחשב אחד: צרה אחרי עדכון קרנל או אחרי התקנת גרסה חדשה של המודול הקינייני של כרטיס המסך nVidia (וכנראה גם אחרים) – כל זאת בגרסה היציבה האחרונה של אופן-סוזה, הלא היא Leap 42.1.

הטקסט המלא

12 August, 2016 04:42 PM

היום, ניסיתי להתקשר לחברת ביטוח. איך שהוא, בגוגל, מצאתי את עצמי מחייג למספר, שטען שתשלח אלי הודעות sms. בעקבות ההודעה הזו, הגיעו גם הודעות ספאם במסרונים. חברת הביטוח, דווקא זמינה, אבל ממספר אחר. זו דוגמה קטנה לאופן שבו פגיעה בפרטיות עלולה להזיק. כאשר מדובר על גלישה, הרי הנזק שהפרות הפרטיות (שלזכותן יאמר, מממנות את התוכן … להמשיך לקרוא כיצד לזרז את הגלישה באנדראויד וקצת לאבטח את עצמכם יותר

הטקסט המלא

31 July, 2016 08:25 PM

Fuzzing is a technique in software testing where you generate a number of random inputs, and see how a program handles it. So what does a testing technique have to do with a process such as the Cyber Kill Chain as developed by Lockheed Martin? Easy! Just as fuzzing a software produces resilient software, fuzzing a process will produce a validated process. The Kill Chain takes about seven steps that adversaries must complete in order to achieve their goals, but will it always be the case? Can an attacker pull off a successful attack with just one step? Or three? That’s what we’re going to fuzz out ...

Full text

13 July, 2016 08:14 PM

בזמנו תיארתי את השימוש ב-NX כ"שולחן עבודה מרוחק" נוח, מהיר ומאובטח. מאז יצאו גרסאות עוד יותר נוחות להתקנה ולשימוש בשם NoMachine. במקום בו קיימת רשת מרובת מחשבים מאפשר השמוש ב NX , למשל, תחזוקה נוחה שלהם מעמדה יחידה.

הטקסט המלא

24 June, 2016 09:35 AM

If you are using Travis CI, you can check the latest build after a failed build by going to the “Build History” tab in your project’s main page (= https://travis-ci.org/shlomif/fc-solve or equivalent), and selecting the new commit.

Licence

Copyright by Shlomi Fish, 2016.

You can reuse this entry under the Creative Commons Attribution 3.0 Unported licence, or at your option any later version of it. See the instructions on how to comply with it.

27 May, 2016 12:43 PM

I used Facebook quite a lot. I posted lots of things, I got to know a lot of people, I learned about things that I wouldn’t learn anywhere else, I shared experiences.

But the feeling that I am the product and Facebook is the user got stronger and stronger as time passed. It happens with many other companies and products, but with Facebook it’s especially strong.

In February 2015 I stopped posting, sharing and liking, and I deleted Facebook apps from all my other devices. I continued occasionally reading and exchanging private messages in a private browser window.

Then I noticed that a few times things were shared in my name, and people liked them and commented on them. I am sure that I didn’t share them, and I am also quite sure that it wasn’t a virus (are there viruses that do such things on GNU/Linux?). Also, a few people told me that they received messages from me, and I’m sure that I didn’t send them; It’s possible that they saw something else under my name and thought that it’s a message even though it was something else, but in any case, nobody is supposed to think such a thing. That’s not how people are supposed to interact.

I am not a bug, not an A/B test, not a robot, not an integer in a database. I am Amir Aharoni and from today Facebook doesn’t use me. There are other and better ways to communicate with people.

Stop saying that “everybody is on Facebook”. I am not. I don’t feel exceptionally proud or special. I am not the only one who does this; a few of my friends did the same and didn’t write any blog posts or make any fuss about it.

You should delete your Facebook account, too.

21 May, 2016 09:30 PM

פוסט זה הוא תגובה לטור של ג׳קי לוי בישראל היום. מר לוי היקר, אני יהודי חרד. לא חרדי. אינני נוהג ללבוש שחורים, אפילו לא כאסטרטגיית דיאטה. את השקפתי הדתית ניתן לסכם במילה „אתאיסט”, אף כי אני מקיים באדיקות את הוראות מורינו הדגול רוג׳ר רביט (הוראות שמהכרותי עם הצדדים היותר פומביים של אישיותך, גם אתה לא […]

The post על פטרת צפרניים ופרטיות appeared first on לינוקס ותוכנה חופשית.

21 May, 2016 05:59 AM

Cloudify is an open-source Python Shop developing an orchestration framework for any cloud infrastructure provider allowing to use the tools of your choice to manage your applications. Cloudify’s mission statement is to allow organizations to realize the benefits of cloud computing by simplifying the management of cloud applications at scale.

Our complex challenges vary from scaling and healing to abstracting common tools like Docker, Puppet, Chef, Telegraf and the likes via Cloudify plugins. We adhere to PEP8 and do not compromise on code quality! OpenStack contributors are welcome.

We’re looking for brilliant developers to join us on a journey to take the concept of orchestration to the next level. http://github.com/cloudify-cosmo is our home. You’re invited.

29 April, 2016 08:55 AM

In our company developers deal with massive datasets that needs to be easy to copy, modify a fraction of it and scrape. Snapshotting is an ideal solution here. Each developer has a personal vserver (LXC container). The missing piece here is to provide them with a way to manipulate partitions and snapshots from inside of their vservers.

To enable users manipulate partitions from inside of the virtual server, I wrote LLS (LXC+LVM+Snapshots) scripts.

LXC+LVM+Snapshots = LLS

Architecture

Further work

14 April, 2016 12:15 PM

Freecell Solver version 4.2.0, has been released. It is available in the form of a source archive, from the download page. Freecell Solver is an open source library and some command line applications, for automatically solving several variants of card Solitaire / Patience games, including Freecell.

This release sports the new configuration theme “-l conspiracy-theory” (or “-l ct”) which is somewhat faster than the best contender up to it, “-l amateur-star”, some relatively minor bug fixes, new compile-time options, and many small and somewhat larger code cleanups, refactorings, and optimisations.

“conspiracy-theory” is a reference to the Jewish holiday of Purim, which took place around the time of its release and an old post of mine about it.

Enjoy!

25 March, 2016 04:14 PM

הטקסט המלא

13 March, 2016 02:11 PM

Imagine you are in Tasmania and need to move 35TB (1 million files) to S3 in the Sydney region. The link between Tasmania and continental Australia will undergo maintenance in the next month, which means either one or both:

• You cannot use network links to transfer the data
• Tasmania might be drifting further away from the mainland now that it is untethered

In short, I’m going to be presented with a bunch of HDs and I need to copy the data on them, fly to Sydney and upload the data to S3. If the HD given would be 35TB I could just copy the data and be done with it – no dramas. Likely though, the HDs will be smaller than 35TB, so I need to look at a few options of doing that.

Things to consider are:

• Files should be present on the HDs in their original form – so they can be uploaded to S3 directly without needing a staging space for unzipping etc
• HDs should be accessible independently, in case a HD is faulty I can easily identify what files need copying again
• Copy operation should be reproducible, so previous point could be satisfied if anything goes wrong in the copying process
• Copying should be done in parallel (it’s 35TB, it’ll take a while)
• It has to be simple to debug if things go wrong

LVM/ZFS over a few HDs

Building a larger volume over a few HDs require me to connect all HDs at the same time to a machine and if any of them fail I will lose all the data. I decide to not do that – too risky. It’ll also be difficult to debug if anything goes wrong.

tar | split

Not a bad option on its own. An archive can be built and split into parts, then the parts could be copied onto the detination HDs. But the lose of a single HD will prevent me from copying the files on the next HD.

tar also supports -L (tape length) and can potentially split the backup on its own without the use of split. Still, it’ll take a very long time to spool it to multiple HDs as it wouldn’t be able to do it in parallel. In addition, I’ll have to improvise something for untarring and uploading to S3 as I will have no staging area to untar those 35TB. I’ll need something along the lines of tar -O -xf ... | s3cmd.

tar also has an interesting of -L (tape length), which will split a volume to a few tapes. Can’t say I am super keen using it. It has to work the first time.

Span Files

I decided to write a utility that’ll do what I need since there’s only one chance of getting it right – it’s called span-files.sh. It operates in three phases:

• index – lists all files to be copied and their sizes
• span – given a maximum size of a HD, iterate on the index and generate a list of files to be copied per HD
• copy – produces rsync --files-from=list.X commands to run per HD. They can all be run in parallel if needed

The utility is available here:
https://github.com/danfruehauf/Scripts/tree/master/span-files

I’ll let you know how it all went after I do the actual copy. I still wonder whether I forgot some things…

09 February, 2016 12:28 PM

מאז שהתחלתי לפרסם תכנות חופשיות, קבלתי משוב ועזרה בכל מיני צורות. בהתחלה אנשים שהכרתי פשוט באו אלי והציעו לי שיפורים בתוכנות שעזרו להם ועם הזמן, התחלתי לקבל גם מיילים עם הסברים, הצעות, קוד ופאצ'ים.

הטקסט המלא

31 January, 2016 05:35 PM

לפני שבוע קבלתי מכתב לא שגרתי לגבי libhdate. ראשית הכותב אינו שגרתי, מדובר באדם בגיל 80 בערך. שנית מדובר בפלטפורמה לא שגרתית Raspberry Pi. ושלישית מדובר בשימוש לא שגרתי בספריה.

הטקסט המלא

24 January, 2016 04:00 PM

With huge USB flash drives of today it is sad that one can't easily put several bootable ISO images on it and have nice on-boot selection menu.

GRUB to the rescue!

Historically GRUB is being used for hard disks and syslinux for floppies and flash drives. But nothing prevents using GRUB for flash drives as well. Here are instructions for creating bootable GRUB-based USB flash drive (disk on key):

1. Create vfat partition. For big drives you must use fat32 format.
2. Unpack the http://t11.meshanet.com/skliarie_blog/boot.tar.gz onto it. It will create single directory boot on the drive.
3. Customize boot/grub/grub.cfg file, put iso images accordingly
4. On linux box, put bootable MBR onto the DOK (for example on /dev/sdf):
1. mount /dev/sdf /mnt/dok
2. grub-install --force --no-floppy --root-directory=/mnt/dok /dev/sdf
3. umount /mnt/dok 

1. Unpack the initrd
   gzip -dc /mnt/dok/boot/knoppix/minirt_ska.gz | cpio -i
2. Modify the init file (put sector numbers that are correct for your DOK)
3. Compress back the initrd
   find ./ | cpio -H newc -o | gzip -9 -c > /mnt/dok/boot/knoppix/minirt_ska.gz

13 December, 2015 01:33 PM

לפני שלוש שנים הזמנתי, ולפני כחצי שנה קיבלתי תלתפסת מפרויקט ריג'ידבוט בקיקסטארטר. בסוכות השנה הרצאתי על מה שלמדתי על תלתפסות בכלל, ותלתפסות RepRap ביתיות בפרט, ולאחרונה ההרצאה עלתה עם שאר התכנים המצולמים של הכנס לאתר העמותה.

אני מצרף פה את ההרצאה כפי שפורסמה ביוטיוב, אבל אני מזהיר מראש שלא צפיתי בכולה ואולי יש בעיות בסאונד והתמונות קצת קטנות בצילום. לכן אני כולל מתחת גם את השקופיות עצמן, שתוכלו להגדיל למסך מלא. אם הסאונד בלתי שמיש בעיניכם, אני יכול לנסות לייצר MP3 מהקלטה שביצע עוד חבר שלי שישב בקהל ואותה אולי אוכל לנקות יותר. ספרו לי אם לדעתכם זה דרוש.

ההרצאה כולה נכתבה להצגה בדפדפן.. הנה לינק, והנה עמבד:

https://ira.abramov.org/3DPadventures/ אנא גלשו למצג המקורית אם משום מה זה לא מציג לכם פה.

07 December, 2015 03:42 PM

אתמול היה יום מיוחד באוטומטיק: השקנו מערכת חדשה לגמרי ב-וורדפרס.קום.

הנה ההכרזה למשתמשים שמתארת את יתרונות המערכת ואת אופן השימוש בה, והנה פוסט של מאט מלנווג על הדרך שהובילה אותנו להקמת מערכת שונה כל כך ומה אנו מצפים להשיג ממנה. המערכת אגב אמנם הושקה רשמית אתמול, אבל חלקים ממנה שוחררו למשתמשים באופן הדרגתי בשנה האחרונה, במקביל לתחזוקת המערכות הקיימות.

ברמה הטכנית, מדובר על אפליקציית עמוד אחד (Single Page Application), שעושה שימוש בין השאר ב-React, Flux ו Node, ועובדת מול Rest API פתוח. אולי זה נראה כמו תהליך אופייני של כתיבה מחדש של מערכת, אבל בעיניי מדובר בהרבה יותר מזה. מבחינת המתכנתים באוטומטיק המעבר לעבודה על המערכת החדשה דרש אימוץ של כלים וטכנולוגיות חדשות במהירות שיא, ולמידה תוך כדי תנועה. אנדי פיטלינג, מרכז הפרוייקט, כותב על התהליך מאחורי הקלעים ומסביר על הבחירות שלנו, ועל השינויים שעברנו כחברה כדי ליישם אותן.

ולמקרה שתהיתם המערכת שוחררה כולה בקוד פתוח, בגיטהאב.

כן, אנחנו מגייסים עובדים – בואו לעבוד איתנו.

24 November, 2015 08:51 AM

Verigreen – https://github.com – is a lightweight, server side solution for verification of git commits. Now open-sourced  by HPE’s VeriGreen team.

The post VeriGreen – lightweight, server side solution for verification of git commits appeared first on Liran Tal's Enginx.

16 November, 2015 11:13 AM

This a quick hack I found while I was looking to run a knock script before connecting to servers which I have the SSH service protected with a knock sequence. In my setup I used the ProxyCommand option in the ssh_config file to loop over my loop-back interface.

Host server1
    User root
    Hostname server1.com
    ProxyCommand bash -c 'knock-script %h; sleep 1; ssh 127.0.0.1 -W %h:%p'

# in the above
# %h is a place holder for the hostname i.e server1.com
# and i added 1 sec delay before running the ssh tunnel
# to give the script on the server side time to validate my knock.

08 November, 2015 04:58 PM

As part of my work on the IBM X-Force Application Security Team, a few months ago I wanted to see if I could reproduce a Rowhammer-exploit-type memory corruption via an externally-generated electromagnetic pulse (EMP). The idea here was to target primary memory (usually [S]DRAM) to perform a bit-flip via an electromagnetic pulse-induced glitch.

I have (thus far) failed miserably to build an actual exploit; more on why in a subsequent blog post.

In this post, I'd like to detail my IBM-sponsored single-pulse glitcher (EMP generator) build (yes, it involves Tupperware) and touch on some basics of the theory of operation of its various components.

DISCLAIMER 1: IF YOU DON'T KNOW EXACTLY WHAT YOU'RE DOING, DO NOT TRY REPRODUCE THIS BUILD OR PLAY AROUND WITH HIGH-VOLTAGE CAPACITORS. IT'S POTENTIALLY DANGEROUS (READ: DEADLY)!

DISCLAIMER 2: EVEN IF YOU KNOW EXACTLY WHAT YOU'RE DOING, DO NOT BUILD THIS! LEAVING IT AROUND COULD BE DANGEROUS TO SOMEONE WHO TOUCHES IT (LIKE YOUR KIDS)!

Disclaimer 3: My build's EMP range is in the order of millimeters to centimeters and the interference it causes is relatively weak. It's not a weapon and was built at my employer for security-research purposes only and used only within a private lab. Do not use this build for nefarious reasons!

OK, warnings aside, let's begin.

I'll start by detailing the most basic build which simply consists of a single capacitor, a switch and a coil of wire like so:

If the capacitor was charged, closing the circuit (by flipping the switch) would induce an extremely high current over the coil load (as there is very little resistance in the circuit). This is because capacitors store energy. The amount of energy stored by a capacitor is denoted by Farads, or the symbol F.
As the electrons flow from the negative pole to the positive pole of the capacitor, a magnetic field is formed as per Maxwell's correction to Ampère's Law. In our circuit above, these electrons flow through the coil - a solenoid - concentrating the magnetic field inside the coil. The strength of this field is proportional to the current flowing through the solenoid which, in turn, is proportional to the energy dissipated by the capacitor discharge.

It is this magnetic field that causes electronics to go crazy. This is due to the fact that the field can excite electrons (and hence current flow) within the target device (the exact reverse of what's happening on the EMP side). If one manages to excite the target enough, Bad Things May Happen.

It follows therefore that the more energy stored within the capacitor, the stronger the magnetic field will be.

The decision that we have to make at this point is which capacitor to chose. We need a capacitor capable of quickly discharging its stored energy and one with large enough capacity to induce a sufficiently-strong magnetic field within the solenoid. We don't wish for the field to be too strong as our range of operation for this project (glitching memory) is in the order of millimeters and the target devices operate at around 3.3 volt so the glitch amplitude shouldn't need to be that high to induce some undefined behaviour.

The easiest capacitor to go for, imho, is a 330V 80uF flash capacitor. You'll see this advised by a number of glitcher-building guides on the net. The reason is that it's easily available and comes with a charging circuit to match! Just find a disposable camera with a flash and gut it (actually getting more difficult to find these days; I think I found the last 3 in the country).

A word of caution when opening these cameras. Make sure the capacitor is discharged before touching any part of the circuitry inside. You can do this by firstly winding up the camera and charging the flash. Then activate the shutter to discharge the capacitor. Additionally it's a good idea to make sure it has fully discharged by shorting both ends of the capacitor with a rubber-handled screwdriver (it might make a spark - the energy dissipates as light and heat - but it's likely safe to do with a capacitance of this value).

In our first circuit above, we assumed that the capacitor was already charged. In our working circuit we will need to charge the capacitor.

In order to charge capacitors, one must apply a potential difference (voltage) over it's poles which is greater than its rated voltage for a set amount of time. The time that a capacitor takes to charge is specified by the RC time constant, tau T, of the circuit such that the capacitor will be charged to 63% after 1T. At 4T the capacitor will be charged to 98%. The charging time between 0T and 4T is called the transient period. After 4T the capacitor enters the steady-state period. At 5T the capacitor is considered to be fully charged.

In our circuit, we have selected a value of R = 10k. Our capacitance is C = 80uF.

T = RC
  = 10k x 80u
  = 800 milliseconds

5T = 4 seconds

So in order to charge our capacitor to capacity, we need to apply 330V over its poles for 4 seconds.

The challenge now is to provide a 330V source with which to charge the capacitor. One can use a DC-DC step-up transformer, however luckily the disposable camera which we pillaged above has a nice little charging circuit which we can re-purpose for our needs.

The circuit in most disposable cameras has a feedback mechanism whereby closing the switch causes the charging process to commence and it automatically stops charging when the target voltage is reached (this is so that one doesn't need to hold down the flash button on the camera for the whole duration of the transient period). We'll consider it a black-box for our purposes and using this charger, we can update our circuit diagram as follows:

The push button switch in the diagram above commences the charging procedure. After the capacitor has reached capacity, closing the switch between the capacitor and the solenoid will create the EMP.

Even though we now have a full EMP circuit, I added a number of features to my design.

Firstly, I doubled the capacitance of the circuit in order to create a stronger pulse. I pillaged another 80uF capacitor from a disposable camera and added it in parallel to the first capacitor. This gives a total capacitance of 160uF.

I then added a high impedance voltage-divider circuit which allows me to digitally measure the voltage of the circuit. This is connected in parallel over the capacitor. The reason for the high impedance is that I don't want the capacitor to discharge ('bleed') its energy though this path otherwise there won't be any energy to discharge through the coil!

The total impedance of the voltage divider is just over 2.2M. To understand the affect that this has on the circuit, we need to take a look at how the capacitor discharges.

As with the charging circuit above, the capacitor will discharge 63% of its energy in 1T and be fully discharged at 5T. The impedance of the voltage divider is approximated 2.2M, therefore:

T = RC
  = 2.2M * 160uF
  = 58.6 minutes

As one can see, the bleeding through the voltage divider is quite slow and doesn't have a major affect on the energy of the EMP if the EMP is triggered shortly after the capacitor is charged.

Interestingly this also provides a built-in safety feature. Forgetting to discharge the circuit could prove hazardous as capacitors will hold their charge for a long time. The voltage divider will cause the circuit to bleed the capacitors over time as even though the impedance is high, there is some current flowing through this path. The capacitors I'm using will generally be considered safe at around 42V. They will be discharged to this value at roughly 2.2T, so after about 2 hours and 10 minutes.

The aforementioned voltage divider is connected to a microcontroller (MCU). The one I'm using is the MicroPython board which is a pretty awesome bit of kit (highly recommended). I use this board connected over USB to a PC to control the glitcher (mostly). The voltmeter gives me an indication of the current level of charge of the capacitor. The MCU is also connected to two relays. The first relay is used to complete the charger circuit (in place of the disposable camera push button). The second relay connects a 3.3k resistor over the poles of the capacitor. I can use this to very quickly discharge (bleed) the circuit and even use it to select a particular voltage for the pulse (I can bleed the circuit for a very short time causing a controlled drop in capacitor charge; to half the voltage for example). This is a 35W rated part as it needs to be able to handle the amount of energy dissipated through it (high current). The interface is shown in the video of the capacitor charging below:

The final part of the build is the solenoid itself. I have experimented with a number of different coils; diameter, number of windings etc. The ideal coil depends on the application and isn't an exact science at all. For my needs I wanted a small, focused EMP with which I could target a RAM IC without glitching the surrounding electronics. My first attempt at a large coil tended to reset my computer! I then made a few smaller coils out of insulated copper wire wound around ferrite iron cores. Here are some pictures of my various coils:

So does the glitcher work? Well yes! I verified this experimentally. As mentioned, the large coil can reset my computer. I used the smaller coils to target RAM IC chips in a PC. I was able to cause some havoc with RAM contents but I'll leave that for another blog post.

As for how the glitch actually looks on the target; according to Wikipedia, what we should see is a damped sinewave pulse. This is due to coupling on the ground plane between the glitcher and the target. I won't go into this in detail but it's all on Wikipedia if you're interested. Throwing an EM pulse out at a scope probe shows exactly this affect so all seems to be working well:

That's all for now folks! Leaving you with a picture of the glitcher in all it's tupperwear-enclosed glory!

05 November, 2015 06:12 PM

So it has been a while since my last CUPC/8 (formerly known as CUPCake) update.

Over the past few months I have spent a significant amount of time working fleshing out the instruction set, implementing support in the assembler and simulator and coding the Kernel (the status of which will be discussed in another blog post).

I have also spent some time back with the hardware itself; integrating and testing the physical RAM and MMU FPGA modules, bus interfaces etc.

Additionally, I finally got around to starting the documentation (see here). Some of it is already slightly out of date but hopefully I'll revise it soon.

As development has progressed, I have continually challenged my original design decisions and this has resulted in a few design revisions.

The main change is that the memory board is no longer responsible for loading the ROM into primary memory on boot. It just didn't make sense for me to use a powerful (relative to CUPC/8) XMEGA MCU within the context of the project as a whole.
As such, I have removed the XMEGA from the design. The ROM chip is now connected directly the the SoC over I2C. The SoC also now includes a small ROM buffer on-chip (termed ROM0) which will hold code that will be responsible for bootstrapping the ROM code. ROM0 is memory-mapped into the 64k memory region by the MMU. The hard reset vector points to the start of the ROM0 and will therefore execute it on boot.
The ROM0 code will be minimal; consiting of a stripped-down I2C driver responsible for the loading of the off-chip ROM chip (ROM1) into primary memory and jumping to the ROM1 start vector.
This is somewhat similar to how modern CPUs bootstrap today.

My next milestone is to get the hardware SPI and I2C modules working properly and interfacing ROM1 with the FPGA development board.

02 November, 2015 01:44 PM

FullPageOS

Hey all,

Today I am announcing a RaspberryPi operating system that addresses a small need we have – Get the RaspberryPi to display a webpage on full screen with no hassle.
The OS is called FullPageOS. And you can download it here.

Why I built it

A friend of mine, Tailor Vijay wanted something to stream video and add titles to it. Also I was looking for a way to start the RaspberryPi with a browser on full screen for a stats screen at work, and apparently the only thing available is complex guides that only partly work on today’s RaspberryPi.

So what I did last weekend is build a distro based off the code of OctoPi, the 3D printer operating system I built. All this distro does is start Chromium at boot on full screen, with a URL of your choice. The url can be changed conveniently from a text file on the /boot FAT folder. So all you have to do is set the wifi and url via text files, boot, and voilà!
Among the minor tweaking is the elusive setting of disabling the screen from blanking.

How to set it up

What’s nice about FullPageOS is that its simple, no need to install packages, just flash it like any distro, set your wifi and URL settings and boot.

1. Open the FAT filesystem that is mounted as /boot
   on the pi
2. Set the URL you want in the file fullpageos.txt
3. If you need to set up wifi, set your wifi settings with the file fullpageos-network.txt or any way you want are used to on the RaspberryPI
4. Plug to HDMI display, internet and boot

Known issue with black boarders

On some screens I tried FullPageOS I got a black boarder, to fix this, you need to edit config.txt and uncomment the line:

disable_overscan=1

This fixes the issue.

Contribution is appreciated!

FullPageOS works, but its missing the shiny slickness that OctoPi has today. For example if someone wants help me write a nice default boot page that would be great! The current default url is just the github page. So as usual, pull requests are welcome.
The source works just like an OctoPi build, and as a by product I wanted to show how easy it is to create custom distros for the RaspberryPi using this build method. We could, really, build a universal custom distro system based off these things. There is already a variant system that was ported from OctoPi code.

FullPageOS image can be downloaded here

Thanks

• Thanks Taior Vijay for inviting me to the Metor hackathon and asking me to set up a webpage in kiosk mode on the Pi.
• Thank you Doc’s Tech for hosting the image.

Share and enjoy,
Guy

Full text

20 October, 2015 04:04 PM

״באים לבנקאים״ הוא פרוייקט מחאה אזרחית לא אלימה נגד ראשי מערכת הבנקאות המושחתת והמסואבת בישראל.

מסתבר שהבנקים הצליחו להוציא צו המורה לגוגל להסיר את האתר bankaim.org מתוצאות החיפוש שלהם, ויותר מזה – על הצו הוטל איסור פרסום. אז האתר עלה שוב, בכתובת ganavim.com. אם פספסתם, באים לבנקאים – מחאה נגד הבנקים.

10 September, 2015 07:58 AM

This post is based on my personal need to mount/umount some network shares automatically when I’m switching between networks (e.g Homer/Office). Later on I was looking to make it more modular and came out with this solution, which can be further extended.

NetworkManager have a nice option to execute scripts after ones connect/disconnect to a network, you can find more in the Arch wiki page including some examples.

The problem I had with the way dispatcher.d works is that it execute all the files in the dispatcher.d folder in a linear order, and you have to code each script to handle the interface, connection state and the network you’re connecting to, so at first all my scripts looked something like this,

#!/bin/sh
### ONE OF OLD SCRIPT FORMAT

USER='username'
REMOTE='user@host:/remote/path'
LOCAL='/local/path'

interface=$1 status=$2
if [ "$CONNECTION_UUID" = "uuid" ]; then
  case $status in
    up)
      export SSH_AUTH_SOCK=$(find /tmp -maxdepth 1 -type s -user "$USER" -name 'ssh')
      su "$USER" -c "sshfs $REMOTE $LOCAL"
      ;;
    down)
      fusermount -u "$LOCAL"
      ;;
  esac
fi

I hated that I had to replicate the if/case template for each script I was adding, so I came with a different approach. And in my current setup I added the following file to the dispatcher.d folder

#!/bin/bash

DEVICE=${1}
STATE=${2}
CWD=$(dirname "$0")

LOG='/var/log/NetworkManager_dispatcher.d.log'

# DEBUG
echo "$(date +"%F %T") Called with ($*) and connection uuid is: ${CONNECTION_UUID}" >> ${LOG}

# Needed only if you need to display notification popups
#export DISPLAY=:0.0
#export $(grep -z DBUS_SESSION_BUS_ADDRESS /proc/$(pgrep session)/environ)


for FILE in ${CWD}/${CONNECTION_UUID}/${STATE}/*
do
        #DEBUG
        echo "$(date +"%F %T") Running ${FILE}" >> ${LOG}
        . "${FILE}"
done

NetworkManager pass 2 parameters to each script it runs under the dispatcher directory,

• $1 == The Device name, e.g eth0/enp0s25, tun0
• $2 == The Connection state, e.g up/down, vpn-up

And so if we have connected to the home network with, The “master” script will list all the files under 

${CONNECTION_UUID}/up

And so my dispatcher folder structure look like this,

# tree /etc/NetworkManager/dispatcher.d 

/etc/NetworkManager/dispatcher.d 
├── 4237f1af-15bf-46f7-a3a1-9a37c0d075de/
│   ├── down/
│   │   └── 00-umount-freenas-media*
│   └── up/
│       ├── 00-mount-freenas-media*
│       ├── 70-wifi-wired-exclusive.sh*
│       └── 99-set-display*
├── fdd94fcd-c801-401c-9caa-ebb21e10bc9e/
│   ├── down/
│   └── up/
│       └── 99-set-display*
...
├── Home -> 4237f1af-15bf-46f7-a3a1-9a37c0d075de/
├── Office -> fdd94fcd-c801-401c-9caa-ebb21e10bc9e/
...
└── 88-MASTER-DISPATCHER*

Remarks

• Make sure to uncheck the “Auto connect to this network” for each profile in NetworkManager.
• You will need to create the folders hierarchy your self.
• Make sure the files under the dispatcher folder are marked as executables.

Links:

• NetworkManager – Arch wiki

15 August, 2015 08:28 PM

אין לי הרבה מה להגיד בפוסט הזה מלבד שנז"ק דיגיטלי הוא אכן נזק, ושנראה לי שאין לי היום מקוריות בבחירת כותרות פוסטים.

(כן, עוברים חודשים, אני לא כותב על הביומטרי או על פיגועי טרור, או מחטפי הגז, כי מי שעוקב אחרי בטוויטר יודע שאני גם ככה מיואש ולא נותר אלא לרטווט את הכתבים המובילים ולבכות. אז אם אני פותח כבר את הוורדפרס (ששדרג השנה יותר גרסאות משאני כתבתי פוסטים) אני אעשה את זה כדי להתלונן על הדברים הקטנים שמציקים לי. צרות עולם ראשון אם תרצו.)

באחד האמשים הזמנתי לי סטרימר קטן בקיקסטרטר. קופסת גפרורים שמתחברת בדיסקרטיות מאחורי הטלוויזיה, מבוססת פיירפוקס או-אס שהיא מעיין אדרואיד של עולם התוכנה החופשית. כשהמכשיר היה כמעט מוכן (לטענתם) הם פתאום החליטו להוסיף רכיבי תוכנת נז"ק דיגיטלי, לטעתם רק כך יוכלו המשתמשים להנות עד הסוף מאפשרויות הצפיה בנטפליקס, הולו+, אמאזון ושאר הירקות שממילא לא משדרות מחוץ לארה"ב אם לא תחמנת אותן עם VPN לכתובת IP אמריקנית ואולי גם כרטיס אשראי אמריקקי. לכבוד השדרוק, הודיעו, הם מעכבים את היציאה בכמה חודשים, מחזקים את המעבד ועוד כהנה. והנה עברו החודשים, המשתמשים שעוד לא התייאשו ובקשו החזר קיבלו הודעה מוזרה: "הסתבכנו עם הנז"ק הדיגיטלי, סוגרים את הבאסטה ומחזירים לכם את הכסף". מה קרה לתכניות המקוריות? לא ברור, אבל תאוריית הקונספירציה שכרגע נפוצה בין משתתפי הקמפיין היא שהעובדה שיש להם כסף להחזיר אומרת שקנו אותם, כנראה החברה הסינית שאיתה פיתחו את הפלטפורמה. אם יצא מוצר, הוא יהיה קנייני אני מניח. נו, לפחות הם מחזירים את הכסף, הקאקערים.

אבל זה לא פוסט תלונה, זה פוסט עשיה, ואם רוצים להנות ממשהו ראוי, צריך לעשות את זה בעצמנו. הרשת מלאה בסטרימרים זולים ויקרים, חלקם מבוססים לינוקס, חלקם אנדרואיד וחלקם (שומו שמיים) איזה חלונות אמבדד או משהו (לפי השמועות). אך אני איני מתכופף לטכולוגיות קנייניות כמו שאתם מכירים אותי, אז הנה התוכנית:

1. רספברי פאי 2, עם קופסת ABS קשיחה וספק כוח – סביבות $42. אם אתם רוצים ספק שגם יודע לדחוף זרמים כראוי, אני יכול להמליץ על המפלץ הזה.
2. להתקין דביאן וקודי על כרטיס 16GB, נגיד עוד כ$5.
3. כבל HDMI.
4. זהו. סטרימינג מהרשת, מכוננים של USB או משרת הטורנטים שבחדר העבודה. מי צריך יותר מזה, תכלעס? אה, וזה אפילו מריץ מיינקראפט לילדה, אז בכלל…

אופציונאליים:

• להתקין הפצה מוקדשת למדיה בשם OpenELEC
• להוסיף דונגל WIFI שנתמך בלינוקס ללא מאמץ.
• לקנות מקלט DVB-T נתמך לינוקס ולקלוט עידן+, ואז כנראה (עוד לא ניסיתי) אפשר לשפר ביצועים ע"י רשיון MPEG2 בחומרה. עוד מידע באתר LinuxTV.
• להתקין BerryBoot אם רוצים לנסות הפצות שונות בנוחות.
• עכבר אלחוטי, מקלדת אלחוטית, עכבר אויר וכדומה.

לאחר שהתקנתם את התוכנה והחומרה, כדאי להציץ במדריכים של קודי ישראל ביוטיוב, או בפורום שלהם לענייני עברית וישראל, או בכל אתר בינלאומי אחר שבא לכם. לא צריך קופסאות מאד יקרות כדי לקבל בימינו את כל היתרונות מקום אחד :-)

אני מקווה שלא שכחתי כלום. בהצלחה!

09 August, 2015 05:11 PM