È l'undicesimo figlio di Solomon Borsivic Olinsky, commerciante di granaglie stabilitosi a Grodno e di Natasha Smirnoff, nipote del famoso commerciante di vodka. Quando Olinsky nasce, suo padre ha 86 anni e segue ancora personalmente i suoi affari commerciali nella speranza che almeno l'ultimogenito, terminati gli studi di avvocatura, possa prendere in mano la sua attività.
Nel 1910 Olinsky esegue un ritratto del padre con la matita di piombo. Il ritratto è ancora conservato nel Museo della sua città natale.